Repository navigation
feat(context): 长跑失忆收尾——两轮对抗审查修复 + 4 项补齐(含合并 main) - #401
Merged
Merged
Conversation
- 压缩范围按 4×segment 封顶;失败不写 marker、不推进锚点,不再整段丢弃 - detached 尾按 token 预算 + 配对合法边界;单用户长跑不再走回 index 0 - <32K 门限改测真实请求投影;状态 note 仅对本请求重注入,不清 sha 去重 - drain 绑定 origin session,切会话不污染 B 的 UI/历史 - 隐藏 note / 失败参数 / 压缩摘要落 marker 与 MemorySediment 前统一掩码; 覆盖 JSON 引号 key、Basic/Token scheme、CLI 空格形态、URL 尾部保留;框架标签中和 - 通知/摘要预留预算、digest 512 条有界扫描、ledger 折叠样本上限、LRU 128、 aging 头尾重叠恢复 320 阈值 - 17 个 locale 的压缩进度文案删除“失败即截断”的错误承诺 - 测试:全量 6798 通过;新增/更新回归覆盖失败不写 marker、范围 cap、detached 预算/配对、状态重注入、门限分档、密钥掩码、摘要掩码等 - 文档:docs/context-memory-adversarial-review-2026-11-19.md(两轮复审 27 项)
- WorkingMemoryStore 按会话 JSONL 落盘(append、fold 重写、commit 后 ack), 跨进程恢复未投递 handover;commit 失败 undo 重投;/clear 删除、/compact 保留 - PostAnchorTail.splitRounds 增加 assistant 步边界;有未配对 tool_use 时不切; 单用户 300 工具轮的 postAnchor 预算真正生效,tool_use/result 不拆 - ToolFailureMemory 增加近似参数聚类:同工具 + 同错误类 + token Jaccard ≥0.75 合并/拒绝,refusal 列出 previous/this call;exact fingerprint 快路径不变 - 测试:WorkingMemoryLedger 落盘/undo/fold/坏文件、单用户 300 步预算、 近似参数/不同文件/成功清除;全量 6809 tests / 0 failures - 文档:docs/context-memory-followups-2026-11-19.md,并更新原报告保留项
Phase 0 地基 - SessionJournal:每会话 append-only JSONL(turn/step/request/tool/compaction), 按字节封顶 + tail 按窗口读,request 记录逐消息 digest 而非正文 - TokenMeter:显示与门限统一到一处;display 与 pressure 都取两者较大值 (provider 读数描述的是上一次请求,大段粘贴后 pending 估算才是诚实值) - ToolPairingCore:legalCuts / hasPendingUse 单一实现 + 计数语义; ResidentWindow、PostAnchorTail、修复路径全部委托(三处实现收敛为一处) Phase 1 压缩事务化 - CompactionTransaction:start→summary→end 括号事件;未配对 start 在加载时 上报为 interrupted(IO 线程、不阻塞首帧);失败冷却 30s,成功后 generation 推进即授权重试;取消不进入冷却 - 压缩失败不再推进锚点(沿用上一轮),摘要写 marker/sediment 前掩码 Phase 2 压缩后可检索 - HistorySearchTool:history_search / history_read,code-point 精确偏移契约 (source[start:end] == excerpt)、4 000 字分页、CJK 二元分词 - 单行读穿 BodyStore(hydrateDisplayRows),不再全表物化 Phase 3 工具回执 - ToolReceiptStore:not_sent / accepted / abandoned 三态,append-only; 未决回执以 [receipt] 提示附在工具结果前,指引“先核验再重试”;取消时 abandon Phase 4 记忆元数据 - MemoryMetadata:frontmatter(type/scope/disabled/ttl_days/supersedes), 无 frontmatter 完全向后兼容;日记忆窗口与 MemoryIndex 均按 eligibility 过滤 Phase 5 时钟 - TimeContextGate / TurnClock:关键词快路径 + 10 分钟间隔;请求装配期注入 到最后一个真实用户轮(不走 send 路径,避免被 DB 重建吃掉);带 elapsed Phase 6 配置闸与策略 - HarnessConfig:默认值等于原常量(HarnessConfigTest 逐项钉住),加载期校验; aging / digest / ledger / postAnchor / detached 全部读同一对象 - LoopGuard.stopEnabled:默认保持硬边界;关闭时最后一档降级为提醒, ActionGuard 报告 stop 依据“是否真的停止”而非“是否到达最后一档” 验证 - 全量单测 6 893 通过 / 0 失败 - 门禁:architecture(ChatViewModel 4 613 / AgentLoop 1 895 收紧)、CJK、 announced tools、schema drift、string refs、工具执行与标题/预算契约、 instruction state 全绿 - 新增测试:SessionJournal、TokenMeter、ToolPairingCore、CompactionTransaction、 ToolReceiptStore、HistorySearchTool、MemoryMetadata、TimeContextGate、 LoopGuardStopPolicy、HarnessConfig、HarnessWiring - 文档:docs/harness-roadmap-2026-11-19.md(含两轮对抗复审后的现状更新)
上一提交8dfd3a9c声称"七阶段落地",实际20项交付物中5项未做、7项半截。 本次把剩余12项全部做完并接线,逐项给出可核对的承载体。 0.1会话日志一致性(原验收"逐字节一致"不可达) - SessionJournal.lastRequestDigests / firstDigestDivergence:journal只存 digest 不存正文(避免成为第二份 transcript),因此可断言的是 digest序列逐项一致; 分歧返回首个不一致下标,-2表示"无记录"而不是"一致"(否则旧会话会静默通过) - SessionJournalTest新增4条 0.2令牌测量可从日志回读 - TokenMeter.fromJournalSnapshot:事后核对 sheet/gate用的是同一个数 - TokenMeterTest新增2条 0.3配对修复改为上报 - repairToolPairing返回 PairingRepair(droppedResults / interruptedUses) - ChatViewModel.effectiveAgentHistory走 repairPairingForRequest:修复对模型 仍静默(报错会让它重发同一调用),但计数写入 journal(PAIRING_REPAIRED) -为守住 ChatViewModel4613行上限,包装函数放在 HistoryExt 1.3占位符可回指精确区间 - ToolResultAging.placeholder(spillOffset=):输出 "(offset N, length M)", 模型可 file_read精确区间而不必整文件重读 2.3检索范围限定在 marker之前 - ChatRepository.compactBoundaryMs(锚点行时间 → marker创建时间兜底) - HistorySearchTool传 endMs;无命中时说明检索范围(否则模型误判"从未发生") 3.3 operationId冲突拒绝 -关键点:指纹包含 tool名,所以指纹相等 ⇒同操作,冲突从指纹上看不出来。 契约是"同一个 operation id配不同内容 ⇒拒绝",因此 begin/settle/abandon 记录 opId,conflictOf(opId)比较同 id记录的指纹 -冲突作为「结果」返回而不是 return(producer lambda必须产出结果) -抽到 ChatViewModelToolReceiptExt(ToolTurnExec触到800行上限) 4.1写入侧产出 frontmatter - MemoryMetadataParser.frontmatterFor:与解析器同文件,避免读写两半漂移 - MemoryRepository.writeMemory仅对「新文件」写首块(既有文件不重写,避免与 并发 writer撕裂) 4.2 supersedes真正被消费 - MemoryMetadataParser.supersededIds一处实现,三个读取方共用:日窗口、 MemoryIndex.rows、MemoryRecallEngine.scanMemoryFiles 4.3 reranker接缝 + mark_memory_used - MemoryReranker + MemoryRerankerRegistry(运行时替换,默认 identity) -置换校验:丢/造 hit的 reranker被忽略(否则交付计数与"used"不一致) - MemoryUsageLedger:交付计数与召回计数分离,只记真正进了 prompt的行, MemoryRecallEngineCache创建时 load 5.2时钟快照语义 - TimeContextGate.alreadyStamped / markStamped:按「值」而不是按「时间」判重, 关键词路径也不会在同一分钟重复注入 6.2每会话 override持久化 - HarnessConfigStore:per-session JSON,校验失败不落盘,缺字段逐项回落默认 -安装点:ChatViewModelLoadExt会话加载处(无文件的会话回落默认值,不继承 上一个会话) - HarnessConfig.reset供生产路径使用 G12标题不进模型输入 - TitleNotInModelInputTest:断言标题路径不写 agentHistory、只经 _sessionTitle 发布、prompt输入取自 _messages而非 effectiveAgentHistory() 顺手修掉的真问题 - ChatViewModelAgentHistoryExt的时钟 sentinel过宽 →只匹配生产者字面量 - interruptedCompactions扫描窗口按字节推导(原来只有保留量的一半) - SessionJournal.tail改为窗口读(原来是全量 readLines +全量解析) - MemoryIndex.fragment单次遍历(原来扫两遍) -工具调用抛异常时 abandon回执(否则一次取消污染整会话后续每条结果) - postAnchor与 detached两条尾巴读同一个 HarnessConfig reserve 验证 -全量单测6928通过 /0失败(较上次 +35) -门禁全绿:architecture(1531文件,ChatViewModel4613 / ToolTurnExec763)、 CJK、announced tools、schema drift、string refs、工具执行契约、 标题/预算契约、instruction state14/14 -新增测试:HarnessConfigStoreTest、MemoryGovernanceTest、 TitleNotInModelInputTest,并扩展 SessionJournal/TokenMeter/ToolReceipt/ TimeContextGate/ToolResultAging/HarnessWiring 已知取舍(写在文档里) -3.1用 sidecar JSONL而非 Room实体(免迁移,代价是无法 SQL查回执) -4.3 reranker默认 identity(接缝/校验/注册就位,未接 embeddings后端) -0.1验收降级为 digest序列一致(journal不存正文是安全要求)
审查对象:origin/main..a011469 的4个提交。执行「审查→修复→复审→修复→全局核验」完整循环。 第一轮真实缺陷(节选,全部已修) - history_search:关键词按 ignoreCase 匹配、定位按码点精确比较 → README/TODO/CamelCase 全部匹配成功却定位失败被丢弃,工具回“没有匹配”。定位改为大小写无关;query 截断1.2k、关键字收满8提前返回;取消异常先于通用 catch 重抛。 - ToolReceiptStore:每次工具调用全量 readLines+JSON 解析(1000 调用≈数百 MB 重复读)→ 进程内投影 + 每文件锁;unknown 警告改为 peek/ack 分离并只播报一次;冲突判定改为「同 op id、不同指纹、且未闭合/失败/取消」,干净成功的 id 复用豁免(provider relay 复用 id 的现实)。 - 压缩重试冷却用墙钟:回拨后永久锁死 → 负间隔视为到期;in-loop 判定不再被误伤。 - 时钟:send 路径消费 interval 并污染 elapsed 基线 → send 路径只保留关键词快路径,interval 与基线归请求装配;elapsed 基线在每次携带真实用户轮的请求上无条件先记。 - 记忆:日目录每回合被读2–6遍(新增 supersedes 扫描把单次扫描优化抵消)→ Index/Fragment/Recall 全部单次读取(recall 来源解析抽到 MemoryRecallSources.kt);disabled/TTL 记忆仍可被召回 → 召回同样走 eligibility;记账写盘可打断回合 → runCatching;usage ledger 增加30天+5000键裁剪与诊断日志。 - frontmatter 泄漏进 prompt/TOC(新日志首行变成 "---")→ 新增 strip(),TOC 预览与注入正文都用剥离后的 body。 - placeholder 的 length 是 preview 长度而非 spill 文件大小 → 只写 offset。 - SecretMasking 把 "secret: family recipe" 破坏成 "secret=[redacted] recipe"(输出会持久化)→ 收紧为凭据形状(带引号 4+,或 8+ 凭据字符)。 - HarnessConfigStore:无生产写入方(6.2 不可达)、进程级 override 会跨会话串值、主线程读盘 → 整体删除,current() 恒为默认;窗口自适应仍由 postAnchorBudgetFor(window) 提供。 - journal:turn/end 从不写、tool/call 在结果之后写 → 新 turn 时补写上一 turn end;拆成 call-before/result-after;trim+append 纳入同一把锁;interrupted 扫描窗口改为覆盖 MAX_BYTES。 - 显示口径:forDisplay 曾被改成 maxOf(环图/Sheet 数字相对 origin/main 变化约10%)→ 恢复 provider 优先,门限仍走 pressure=max。 第二轮(校验修复引入的次生问题,8条全部修复) - peek/ack 分离(否则冲突拒绝或抛异常会永久丢失 unknown 警告) - 冲突判定补 ambiguous(失败/取消的 id 复用仍算冲突) - trim 保留 reported 投影、重建在锁内(否则长会话每次裁剪重复播报) - TokenMeter 空断言与矛盾 KDoc 修正 - scanMemoryFiles 真正不读(此前仍读一遍) - elapsed 基线不再漂移 - 掩码补回纯字母长密码 - 回执投影 LRU 32;删除 rowFor/supersededDates/primedDir 死代码 验证 - 全量单测 6928 通过 /0失败(新增6条回归测试,均能在对应修复回退时失败) - 门禁9项全绿:architecture(1531文件;ChatViewModel4613/4613、MemoryRecallEngine785/800、ToolTurnExec763/800)、CJK、announced tools、schema drift、string refs、工具执行契约、标题/预算契约、ThinkingLevel、instruction state14/14 - 文档:新增 docs/harness-review-fixes-2026-11-19.md(两轮缺陷+修复+未修复项);roadmap 的6.2/6.3验收状态按实际降级 明确未修(已写入报告):journal记录的是图片预算前历史;压缩冷却文案需新增字符串+17语种;usage ledger/ui 与 stopEnabled 无 UI 入口;repairToolPairing 仍是独立 fold。
用户要求补齐上一轮报告里"明确未修"的第1、2、3、5项;第4项(repairToolPairing 独立 fold)行为正确,按要求不动。 1) 会话日志记录最终历史(原记录的是图片预算之前) - 新增 ChatViewModel.finalizeRequestHistory(turn, history) = applyRequestImageBudget + recordRequestJournal,循环把同一份列表交给 streamMessage - ChatViewModelAgentLoopExt 保持 1895 行上限(块注释合并) 2) 压缩冷却文案 - 新增 vm_compact_retry_cooldown("上次压缩失败,%1$d 秒后可重试"),不再复用"压缩正在进行中",避免描述一个并不存在的作业 3) 两个缺 UI 入口的项 - 记忆使用:TokenUsageSheet 新增「记忆」区块,读本会话自己的 ledger 文件显示已投递行数/展示次数(MemoryUsageLedger.summaryFor,不碰请求路径缓存) - 循环保护开关:新增 GuardPrefs(默认开启、带 revision 供 Compose 重算),ActionGuard 创建 LoopGuard 时读取,工具限制设置页新增开关(默认仍是硬边界,关闭后最后一档降级为提醒) 4) 按模型持久化的上下文预算(替换上一轮被删的全局 store) - HarnessConfigStore 按模型条目 id 存 JSON(原子写、校验、损坏回退默认、LRU 缓存),模型详情页新增「上下文预算」区块:自定义尾部预算 8k–60k 步进 2k - 解析一次、显式传参:activeHarnessConfig() → budgetTokensForWindow / PostAnchorTail.Budget.config / DroppedRoundDigest.render / ContextSaverRuntime.age / detachedTailSizeForWindow;没有任何全局可变量,因此不会跨会话串值 - 为守住 4613 行上限,aging/detached 装配抽到 ChatViewModelHarnessExt,并下调 architecture 基线到 4611 其他地方 - ContextSaverRuntime.age / DroppedRoundDigest.render 由 public 改 internal(参数含 internal 类型) - 15 个新字符串补齐 17 个语言目录(含"翻译不得等于英文"的假翻译检测) - 文档:review-fixes 报告新增"补齐轮"章节并更新未修项;roadmap 的 6.2/6.3 按实际恢复为已落地 验证 - 全量单测 6946 通过 / 0 失败(新增:HarnessConfigStoreTest 8 条、GuardPrefsTest 4 条、PostAnchorBudgetTest 自定义覆盖 2 条、HarnessWiringTest 四条 drift 断言) - 门禁全绿:architecture(1534 文件;ChatViewModel 4611/4611 基线已收紧)、CJK、announced tools、schema drift、string refs、工具执行契约、标题预算契约、ThinkingLevel、instruction state 14/14
…versarial-review # Conflicts: # scripts/ci/architecture-policy.json # src/android/app/src/main/java/com/openminis/app/data/repository/MemoryRepository.kt # src/android/app/src/main/java/com/openminis/app/ui/chat/ChatViewModelAgentLoopExt.kt # src/android/app/src/main/java/com/openminis/app/ui/chat/ChatViewModelCompactExt.kt # src/android/app/src/main/java/com/openminis/app/ui/chat/ChatViewModelPromptExt.kt
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
改了什么
本分支是「长跑失忆」这条线的收尾:在线路图 12 项落地后,又做了两轮对抗审查修复,并把报告里"明确未修"的 4 项补齐。
一、对抗审查修复(
aa379921)第一轮审查(逻辑/边界、异常、性能、接线、兼容性、体验、报告真实性、阈值、幂等、资源)修掉的主要缺陷:
history_search静默丢结果:关键词按 ignoreCase 匹配、定位按码点精确比较,README/TODO/CamelCase/文件名全部"匹配成功却定位失败"被丢弃,工具回"没有匹配";改为大小写无关定位,并给 query 加 1.2k 上限、收满 8 个关键字提前返回、取消异常先重抛。readLines+JSON 解析(1000 调用≈数百 MB 重复读)→ 进程内投影 + 每文件锁;unknown 警告改为 peek/ack 分离、只播报一次;op-id 冲突改为「同 id、不同指纹、且仍未闭合/失败/取消」,干净成功的 id 复用豁免(JSON relay 复用 id 的现实)。MemoryRecallSources.kt);disabled/TTL 记忆仍可被召回 → 召回同走 eligibility;记账写盘失败可打断回合 →runCatching;usage ledger 加 30 天/5000 键裁剪。---)→ 新增MemoryMetadataParser.strip(),TOC 预览与注入正文都用剥离后的 body。SecretMaskingover-masking:secret: family recipe被改写成secret=[redacted] recipe(输出会持久化)→ 收紧为凭据形状。forDisplay兼容性:曾被改成maxOf,环图/Token Sheet 数字相对 main 变化约 10% → 恢复 provider 优先,门限仍走pressure()。turn/end从不写、tool/call在结果之后写 → 新 turn 补写上一 turn end,拆成 call-before/result-after;trim+append 同一把锁;中断扫描窗口覆盖MAX_BYTES。第二轮专门审查"修复引入的次生问题",8 条全部修掉(peek/ack 丢失、冲突漏判、trim 清空已播报集合、空断言、
scanMemoryFiles仍读一遍、elapsed 漂移、纯字母密码漏掩、投影无淘汰)。二、补齐报告里的 4 项(
c7c375e0)finalizeRequestHistory():先应用图片预算再写日志,同一份列表交给streamMessagevm_compact_retry_cooldown,不再复用"压缩正在进行中"TokenUsageSheet新增「记忆」区块(读本会话 ledger);新增GuardPrefs+ActionGuard读取 + 工具限制设置页开关HarnessConfigStore按模型条目持久化 + 模型详情页「上下文预算」;装配处解析一次、显式传参,无全局可变量第 5 项替换掉了上一轮被删的全局 store(无写入方/跨会话串值/主线程读盘),本次带真实写入方与四条消费路径。
三、合并 main(
8c3e7d81)origin/main已前进到93a8f2c3(#399 压缩级联 + #400 上下文工程路线图)。合并冲突 5 处,逐处保留两边语义:ChatViewModelAgentLoopExt:upstream 的prepareRequestHistory(不受信标记中和 + tier-① micro-prune)包进我们的 journal finalizer。ChatViewModelCompactExt:先按我们的 range cap 限界,再用 upstream 的preserveToolPairsAtBoundaries吸附边界;reduced-retry 取 upstream 的单调 + 前向吸附实现。MemoryRepository:upstream 的条目格式守卫 + 写入侧去重,加上我们的 frontmatter 首块。ChatViewModelPromptExt:采用 upstream 的 nullablememoryAssembly解耦实现(同一决策的更高版本)。architecture-policy.json/cjk-baseline.json:合并后重跑基线,ChatViewModel4591、AgentLoopExt1893。如何验证
全量单测:6967 通过 / 0 失败(含本分支新增 14 条与 upstream 新增用例)
门禁 10 项全绿:architecture、CJK、announced tools、schema drift、string refs、工具执行契约、标题/预算契约、ThinkingLevel、instruction state 14/14、new-untranslated(18 个新键全语种)
反向验证:新增的 6 条回归测试在对应修复被回退时失败(回执 peek/ack、冲突豁免规则、strip 语义、display 优先序、长字母密码、散文不误伤)
手工确认点(未做真机 UI 目测):设置 → 工具限制 → 循环保护开关;模型详情 → 上下文预算;Token 用量 → 记忆区块
应用版本:1.36.x(本地构建)
设备 / 系统:Windows 11 构建机(未在真机运行 UI)