Skip to content

Feature/goal memory integration - #11

Closed
xxxyxun wants to merge 4 commits into
AI45Lab:mainfrom
xxxyxun:feature/goal-memory-integration
Closed

xxxyxun wants to merge 4 commits into
AI45Lab:mainfrom
xxxyxun:feature/goal-memory-integration

Conversation

@xxxyxun

@xxxyxun xxxyxun commented Oct 31, 2026

Copy link
Copy Markdown
Collaborator

概述

基于 main 整理迁入 v7 的 goal/任务记忆组件,作为可选执行模式。
保留新版 A11y/CDP 语义融合、协议 0.2、API 号池及 JEV 服务恢复。
默认 step/stage 入口保持不变。

主要改动

  • 新增 memory/state.py、context.py,维护原始要求、源事实、资料覆盖、交付进度、成果和失败记录。
  • 新增 goal_planner、goal_stage、goal_verifier:
    Planner 提供有界子目标,JEV 连续选择动作,阶段结束后独立 Verify 并更新记忆。
  • 允许已知部分先制作和保存,缺失资料按需补读;区分阶段成功、单元完成和整题完成。
  • 保护已确认源事实,避免后续观察无依据地覆盖前期资料。
  • 补充字段绑定、局部目标恢复、截图候选和重复导航检查。
  • goal 使用联合具体动作选择,保留 JEV 的瞬态重试、Retry-After 和 endpoint 动态切换。
  • 通过 components.py 注入新组件,配置与 session 支持选择 goal 模式。
  • 现有批量脚本支持执行模式和阶段动作额度参数,原默认值不变。

兼容与范围

  • 保留 main 的 UITarget 语义字段和 semantic_enricher。
  • 未修改协议 schema、消息模型、CDP 采集模块、API 号池、评分器或通用 rjob 实现。
  • 不修改 integration/components 分支、运行中的实验、共享 VM 或冻结依赖环境。
  • 凭据、模型、VM、截图和轨迹不进入 Git。

已执行验证

  • 干净隔离环境执行 pip install -e '.[dev]',Pillow 自动安装,goal 组件导入正常。
  • pip check:通过。
  • Ruff:通过。
  • pytest:404 passed。
  • 协议 0.2:17 个 golden 样例通过。
  • 私有配置校验:通过。

测试覆盖 step/stage/goal mock 全链路、记忆保护、部分交付、字段绑定、
重复导航、goal 消费 CDP 元素、只读刷新不重放,以及 JEV 地址切换与恢复。

真实 GUI smoke

使用现有批量脚本启动 OSWorld 2.1 Task 008,配置为 GUI-only。

已验证:

  • Kimi 需求抽取和 goal 规划返回有效结构化结果。
  • 取得真实截图、A11y 和 1337 端口 CDP 快照。
  • JEV 连续选择并实际执行两次滚动,used_image=true。
  • 两次回执均 acknowledged=true、returncode=0,轨迹协议为 0.2。
  • 按要求在两步后停止,已归档并清理对应 rjob。

真实记录目录:

/mnt/shared-storage-gpfs2/evobox-share-gpfs2/xuyuanxun/v0_goal-integration-6step_20261031_smoke/rjob_logs/goal-memory-gui-smoke-20261031-1806-008/

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant