Skip to content

fix(gui): repair foreground target discovery and action execution - #13

Merged
two-tiger merged 5 commits into
AI45Lab:mainfrom
xxxyxun:debug/gui-observation-closure
Nov 5, 2026
Merged

two-tiger merged 5 commits into
AI45Lab:mainfrom
xxxyxun:debug/gui-observation-closure

Conversation

@xxxyxun

@xxxyxun xxxyxun commented Nov 4, 2026

Copy link
Copy Markdown
Collaborator

描述可以直接填:

改动

  • 修复可点击文本被过滤、点击候选隐藏截断及目标排序问题。
  • 修复前台窗口、原生模态框与后台 DOM 候选混用。
  • 调整 A11y/DOM 融合,保留可信标签和坐标。
  • 修复字段绑定、密码输入反馈,以及多行/Unicode 文本输入。
  • 明确先导航、观察目标页面,再规划输入的边界。
  • API 超时、断连、响应不完整和临时服务错误时,有界切换号池中的其他 key;内容校验失败不误切 key。
  • 不新增运行时依赖,不修改协议或评分器。

验证与结果

  • Ruff 通过;pytest:583 passed、1 skipped。
  • 协议 0.2:17 个样例通过。
  • 真实 VM GUI smoke 已验证文本、密码、多行输入及前台 CDP 选择。

GUI 修复版的 28 题回归已结束:23 题出分,平均 21.51%;其中 2 题满分、7 题部分得分、14 题零分。重点题:031 14.29%、045 100%、057 27.22%、082 100%。

其中 18 题采用三小时到点暂停后的外部原生评分,另 5 题自然结束;不能视为严格等预算性能对照。5 道 API 异常题正在补跑,最新 API 修复尚未完成整轮验收,不声明整体效果提升。

真实记录根目录:

/mnt/shared-storage-gpfs2/evobox-share-gpfs2/xuyuanxun/tandem_gui_observation_closure_20261104

@two-tiger two-tiger left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM

@two-tiger
two-tiger merged commit 9d4e544 into AI45Lab:main Nov 5, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants