Skip to content

perf(core): 用量账本分块读并在块间让出事件循环,存储清单的条数不再全量读 - #415

Merged
Phantivia merged 1 commit into
mainfrom
perf/usage-ledger-async-scan
Nov 16, 2026
Merged

Phantivia merged 1 commit into
mainfrom
perf/usage-ledger-async-scan

Conversation

@Phantivia

@Phantivia Phantivia commented Nov 16, 2026 •

Copy link
Copy Markdown
Member

替代 #406。#406 指出了下面两处同步全量读,用工作线程处理,为此把 tsx 加进发布依赖并去掉了存储清单的条数;维护者 11-15 决定由这个 PR 用不加依赖、不起工作线程、保留条数的做法处理同一个问题,合入后关闭 #406。两个 PR 改的是同一批文件,只合这一个。

问题

  • /api/usage:aggregateUsage(core.usageLog.readAll(), …),readAll 同步读完并解析整份 data/usage.jsonl。
  • /api/storage:用量那行的 stat 调 usageLog.count(),它也是一次 readAll。

读的这段时间引擎线程不处理事件投递和别的 HTTP 请求。#406 里报的现场是 1.48 GB 的账本。

改动

  • UsageLog.readAll() 改成异步:每读 4 MB(原有的 READ_CHUNK_BYTES)让出一次事件循环。写入是同步的 appendFileSync,所以每次让出时文件里都是完整的行。
  • UsageLog.count() 返回 number | null:第一次问时开始一次同样分块的扫描并返回 null;扫描完成后条数留在内存里,每写入一条加一,清空归零,写入失败后作废、下次重数。
  • 存储清单用量那行:条数未知时只显示文件大小,已知时和原来一样是「N 条 / 大小」。重启后第一次打开存储清单看到的是只有大小的那一种,再取一次 /api/storage 才有条数。
  • UsageLog.clear() 改成异步,返回的条数来自同一个分块扫描(StoragePart.clear 本来就允许返回 Promise)。
  • /api/storage、/api/usage 的响应形状不变,StoragePart 契约不变。

测量

本机,一份 334 MB、130131 条有效记录的真实账本(只读),scratch/ 里的脚本用 1 ms 的计时器记相邻两次回调的间隔:

读盘加解析 这段时间里事件循环的最长间隔
改前 1863 ms 1863 ms(整段同步)
改后(8 次) 1.4–2.4 s 多数间隔 40–70 ms;6 次里各有一个 160–330 ms 的间隔

那个 160–330 ms 的间隔没有定位到原因;--trace-gc 的一次运行里,读到末尾时有一次 380 MB 堆上的 Mark-Compact。

没有做的

  • aggregateUsage 没动。记录读出来之后它仍是一段同步计算,同一份账本上 230–580 ms(30 天窗口与全部记录)。
  • 读出的记录仍然整份放在内存里再汇总。
  • 没有在 1.48 GB 的账本上测过。

验证

  • pnpm test、pnpm run typecheck、pnpm run typecheck:web 通过。
  • tests/core/usage-log.test.ts:原有用例改成 await;跨多个读取块的那条加了「第一块之后让出事件循环」的断言;新增一条 count 在扫描完成前是 null、之后随 append 增加且不再读盘。

🤖 Generated with Claude Code

- 之前:打开用量页(/api/usage)和存储清单(/api/storage 里用量那行的条数)各自同步读完整份
  usage.jsonl。334 MB、130131 条的账本上,读盘加解析一次占住事件循环 1863 ms。
- 之后:readAll 每读 4 MB(原有的 READ_CHUNK_BYTES)让出一次事件循环。同一份账本读完共
  1.4–2.4 s,8 次测量里相邻两次计时器回调的间隔多数在 40–70 ms,其中 6 次各有一个
  160–330 ms 的间隔。
- 条数:第一次问时开始一次同样分块的扫描并返回 null,存储清单那行这时只显示文件大小;
  扫描完成后条数留在内存里,每写入一条加一,清空归零,写入失败后作废重数。
- clear 改成异步,条数来自同一个分块扫描。
- 没有动 aggregateUsage:解析出的记录交给它之后仍是一段同步计算,同一份账本上
  230–580 ms。
- 测试:跨多个读取块的账本在第一块之后让出事件循环;count 在扫描完成前是 null,之后随
  append 增加且不再读盘。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>

@cursor cursor Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Conflicts with #406

src/core/usage-log.ts、src/bot.ts、tests/web/persona-usage.test.ts 文本冲突。两边都改 readAll/count 和存储清单用量行的 stat;先合其中一个,另一个这三处无法直接合并。

— Cortico PR Gate via Cursor Cloud Agent

Open in Web View Automation 

Sent by Cursor Automation: Cortico PR Gate

@cursor cursor Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Duplicates #406

两个 PR 都让用量查询和存储清单不再在引擎线程上同步扫完整份用量账本。#406 更早。

— Cortico PR Gate via Cursor Cloud Agent

Open in Web View Automation 

Sent by Cursor Automation: Cortico PR Gate

@Phantivia
Phantivia merged commit 0c851c3 into main Nov 16, 2026
4 checks passed
@Phantivia
Phantivia deleted the perf/usage-ledger-async-scan branch November 16, 2026 02:17
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant