路线图

Omnibot 产品路线图

最后更新：2026-07-07

本文件是当前的产品状态事实来源。docs/superpowers/plans/ 中的历史实施计划仍然有助于理解设计意图和任务历史，但其未勾选的复选框可能不反映当前代码库。

如需以读者友好的视角了解当前产品，请参阅 产品概览。

产品方向

Omnibot 专注于让 AI Agent 能够读取、检查、调试和操作用户的真实 Chromium 浏览器：真实标签页、真实登录状态、真实扩展环境，通过本地守护进程加 CLI 显式选择标签页。

近期产品优先级：

• 保持本地真实浏览器工作流的稳定和显式。
• 让常见浏览器自动化任务可以在不使用原始 JavaScript 的情况下完成。
• 当语义或基于引用的操作失败时，提供清晰的回退层级。
• 保留 Agent 友好的 stdout，同时将诊断保留在 stderr。
• 打包技能和文档，让 Agent 能够可靠地发现正确的工作流。

状态图例

• 已完成：已在 CLI/动作/守护进程表面实现，并被单元或 E2E 合约覆盖。
• 部分：命令表面已存在，但生产行为存在已知限制，或仅实现了基础路径。
• 实验性：可用于有针对性的测试，但尚未成为默认的生产工作流。
• 计划中：未实现，或仅由设计笔记表示。

已完成

运行时与分发

• 本地守护进程和 CLI v2 运行时：omnibot doctor、status、start、stop、run、守护进程自动启动，以及本地端口 18764/18765。
• 浏览器扩展传输：WebSocket 主路径、HTTP 长轮询回退、标签页/会话跟踪、扩展重连行为和标签页更新广播。
• npm 打包：平台包、CLI 包、打包的技能路径/安装命令和版本检查。
• 许可证生命周期：许可证状态、本地持久化的激活状态、使用次数，以及扩展状态推送/刷新。
• 显式标签页定位：页面状态命令需要 --tab-id；浏览器状态更改没有隐式的默认目标。

读取与页面理解

• read：干净的渲染后页面读取，带有 --screens、URL 临时标签页模式、标签页定位模式和 JSON/文本输出。
• snapshot：无障碍树快照，@eN 引用，交互式过滤、紧凑/深度/URL 选项，选择器作用域，富文本编辑器控件，弹窗/模态控件和组合框选项探测。
• get：title、URL、text、HTML、value、attribute、count、box 和 style 读取。
• is：visible、enabled 和 checked 状态检查。
• find：role、text、label、placeholder、alt、title、testid 和 nth 的语义定位器，带有 click、fill、type、hover、focus、check、uncheck 和 text 等子动作。

类用户浏览器操作

• 引用/选择器操作：click、dblclick、fill、type、press、hover、focus、select、check、uncheck、scroll、scrollintoview 和元素级 drag。
• 上传：CDP DOM.setFileInputFiles、DOM nodeId 回退和 JS DataTransfer 回退已实现并有单元测试覆盖。
• 导航和标签页生命周期：navigate、open、goto、close、tab list/new/close、window new、frame、back、forward、reload 和 pushstate。
• 等待和批量：选择器/文本/URL/加载/函数/固定时间等待、隐藏/可见状态，以及 JSON/文件批量命令。

调试与证据

• 截图：普通/全页/带标注的截图、PNG/JPEG 选项、base64/文件输出路径。
• 控制台：logs、errors 命令路径和 clear。
• 对话框：JavaScript 对话框 logs、clear、accept/dismiss 和 prompt 文本处理。
• 网络：扩展支持捕获的 start/stop/clear/logs/summary。
• 原始 CDP：cdp <method> <params-json> 用于最后手段的检查。

回退与高级操作表面

• CUA 坐标鼠标：mouse click、mouse move、mouse scroll 和 mouse drag 命令表面，由 CDP input 事件支持。
• DomCUA：dom visible、dom click、dom dblclick 和 dom scroll 用于可见 DOM 节点 ID 回退工作流。
• 剪贴板：通过页面上下文进行 clipboard read 和 clipboard write。
• 视口：通过页面状态/CDP 模拟进行 viewport get 和 viewport set。
• 资源：assets list 和 assets export；提供输出路径时，导出将资源元数据写入 zip。
• 浏览器/会话元数据：browser list/current/claim/release、session name/list。
• 站点技能探索：explore run/list/show/promote 用于生成站点技能和操作记忆的基础。

部分或实验性

人工验证

• verify inspect 检测并提取网易易盾验证码组件的元数据。
• 它不解决验证码，不提供生产级的绕过工作流，并且需要视觉交叉检查状态和坐标映射。

鼠标拖拽真实感

• mouse drag --fast 是稳定的线性路径。
• 默认的逼真拖拽轨迹可用但属于实验性；时序、抖动和成功率仍需生产验证。

控制台与网络捕获完整性

• 控制台和网络命令表面已存在，并具有扩展支持的捕获路径。
• console errors 当前与控制台日志收集路径共享；调用者应在输出中验证级别过滤。
• 网络和对话框捕获需要当前的浏览器扩展；旧版扩展返回明确的升级/重载错误。

录制、回放和跟踪

• record start/stop、replay 和 trace start/stop 已公开，并具有基础的有效负载/文件形状。
• 自动将每个 CLI 动作捕获到 recorded_actions / trace_events 尚未作为完整的产品工作流接入。
• 回放支持有限的动作集，应视为基础，而不是稳定的浏览器流程自动化。

可见性模式

• visibility status 和 visibility set 对可见、后台、专用配置文件和无头模式进行建模。
• visibility launch 当前对专用/无头启动返回 status: planned；它尚未生成或附加单独的浏览器配置文件。

资源导出

• assets list/export 从页面收集资源元数据。
• 尚未实现完整的离线页面镜像、二进制资源下载和 HAR 质量的归档导出。

计划中或未实现

自动化对等差距

• 超出当前语义定位器子集的完整 Playwright 兼容定位器/操作对等。
• 跨 DOM 变更和 frame 的具有稳定 ID 的完整 DomCUA 节点生命周期。
• 完整的 CUA 策略层、确认工作流和动作安全策略。
• 超出当前尽力而为行为的健壮跨源 iframe 内省。

浏览器能力差距

• visibility launch 的专用自动化浏览器启动和附加流程。
• 具有扩展兼容性保证的无头 Chromium 模式。
• 下载管理、PDF 导出、完整页面归档和完整 HAR 导出。
• 持久的 cookie/存储/状态保管库和认证配置文件管理。
• 超出当前文本剪贴板和文件上传支持的完整剪贴板/文件系统工作流。

调试和可观测性差距

• 跟踪查看器/仪表盘。
• 作为持久的无代码宏工作流的录制/回放。
• 探查器、Web Vitals、React/Vue 组件内省和性能时间线。
• 长时间运行操作的流式事件源。

产品和平台差距

• 作为受支持产品模式的远程多用户守护进程。
• 云浏览器提供商、Lightpanda、iOS/Appium 和移动自动化。
• 团队仪表盘、策略管理、计费/支付集成和托管账户管理。
• AI 辅助的验证码解决。当前范围仅限检查。

建议的下个里程碑

M1：稳定当前本地浏览器表面

• 将 snapshot + click/fill/type/wait 保持为主要理想路径。
• 扩展真实浏览器工作流的 E2E 覆盖，特别是弹窗控件、富文本编辑器、上传、网络/对话框捕获和显式标签页定位。
• 让命令参考和技能在每次发布时与实际的 CLI 命令表面匹配。

M2：完成录制和跟踪工作流

• 将动作分派接入，以一致地追加录制和跟踪事件。
• 定义稳定的回放模式并支持更多动作。
• 添加跟踪导出验证和最小化的人类可读跟踪报告。

M3：专用配置文件和可见性启动

• 为专用配置文件模式实现实际的浏览器启动。
• 记录登录状态限制和扩展加载要求。
• 决定无头模式是保持实验性还是成为受支持的非用户浏览器模式。

M4：可观测性和归档深度

• 改进控制台/网络过滤和保留。
• 添加更丰富的资源导出和 HAR 风格的摘要。
• 评估跟踪查看器/仪表盘属于纯 CLI 形式还是单独的 UI。

M5：平台扩展

• 仅在本地真实浏览器自动化在发布关口保持稳定后，才重新审视远程守护进程、托管/团队工作流、策略控制和云浏览器提供商。