Skip to content

排序不变量:纠错、模糊音、补全只能「加」候选,逐键查「永远不许出现」的结果 - #262

Merged
Gloridust merged 4 commits into
pre-releasefrom
fix/engine-invariants
Nov 19, 2026
Merged

Gloridust merged 4 commits into
pre-releasefrom
fix/engine-invariants

Conversation

@Gloridust

Copy link
Copy Markdown
Owner

为什么

cehaohou 只剩「的好后」「得好后」(72bf8e2 修的)这类结果,top1 评测里只少一条,看不出来。
根子是精确匹配、纠错、补全、简拼、模糊音、语言模型重排都折算成一个分数再排,「照着打的读法优先」这类规矩散在几个按分数、按位置挪候选的函数里,后一个能把前一个冲掉。
用户的规矩:按键纠错应该是添加可疑的候选词,而不是替代原候选词,这次当成硬规则查和修。

和 librime / libime / libpinyin 的对照、全部规则、查出来的和修了的见 docs/ENGINE-INVARIANTS.md(只借思路,没抄代码)。

加了什么

  • wowtype-eval --invariants(core/src/bin/common/invariants.rs)+ scripts/invariants.sh:tools/eval 的 7239 条用例逐键打(2.4 万个前缀),每个前缀不带上文、带用例的上文、带「我本地」各查一次,可选带 nnlm.bin。规则:
    • 打对了的拼音第一个不是纠错的;第一个音节的单字一直在;候选不会只剩几个;加了上文或模型照着打的读法还在;不重复;
    • 打全了的常用词不排在补全的后面;
    • 纠错 / 模糊音兜底 / 简拼只能加:关掉再查一次,关掉时第一页的词和排第一的照着打的读法,开着时都还在、不被它加的候选压过。
  • CI「排序评测(真实词库)」任务里,在排序评测后面跑(复用编好的 wowtype-eval,不带模型,约 2.5 分钟)。
  • wowtype-show 加 --no-typo、--no-fuzzy-fallback、--why。

修了的(每处都有单元测试)

  1. 第一名是纠错 / 模糊音兜底的词时,句首词按它的音节对齐全被筛掉:yusezhi 只剩 6 个候选,jitnian 只剩「今天」「金田」,gaj、saj、ern 没有第一个音节的字。
  2. 纠错词被后面按位置挪候选的步骤挪回第一(sheihaiyo 的「谁还要」)。
  3. 模糊音兜底的词把照着打的整句当硬凑的筛掉(接着上文打 ninke 只剩「宁可」)。
  4. 纠错词当筛硬凑整句的基准(meiyuo 的「没雨哦」没了)。
  5. 整句名额被纠错的整句占满(接着上文打 weihuj 一个照着打的整句都不剩)。
  6. 同字同跨度留了纠错的那条(cunzai 里没有「蹲」cun)。
  7. 句首词、长尾的名额纠错词和照着打的一起抢。
  8. 补全压过打全了的词(qingkuan 的「请款」、fangxiangji 的「芳香剂」、接着上文打 jiesu 的「借宿」)。
  9. 纠错出来的开头词放到第二位(带模型打 jidegeimamadadianhu)。

修之前(72bf8e2),前六条规则:不带模型 29 条违反,带模型 66 条(suanlibugouxunli 只剩 3 个候选、第一个是纠错的「山里不够训练」)。
修之后:不带模型全部 0(CI 的配置);带模型还有 4 条,写在文档「还没修的」里,有建议的修法。

排序评测(/usr/share/wowtype 的数据,rime-ice 927e1cf1,和基线同一份)

组 用例 top1 原基线 top1 差
regress 69 91.3% 91.3% +0.0(全过)
common 1000 96.7% 96.7% +0.0
mid 1000 94.1% 93.8% +0.3
rare 1000 88.8% 88.8% +0.0
jianpin 1000 63.0% 63.0% +0.0
trunc 1000 92.2% 92.2% +0.0
trunc_exact 1000 98.4% 96.7% +1.7
homophone2 300 100.0% 100.0% +0.0
homophone3 200 99.5% 99.5% +0.0
daily 138 92.0% 92.0% +0.0
context 533 88.4% 88.4% +0.0

tools/eval/baseline.tsv 已更新(「数据」一行没动)。

等用户定

模糊音兜底现在会排到照着打的读法前面(zhouba 第一是「走吧」,照着打的「周报」第二)。按上面的规矩这也算替代,但回归集第 82、83 条要求 shengme → 什么、penyou → 朋友 排第一。现在「只加不删」是硬规则(已清零),「排到前面」只报告(fuzzy-outranks-typed,不带模型 57 条)。要改的话文档里写了改哪一行。

验证

  • cargo test -p wowtype-core 通过
  • scripts/addon-test.sh /usr/share/wowtype/lexicon.tsv /usr/share/wowtype/english.txt 通过(KEY HARNESS OK)
  • scripts/eval.sh 和基线持平或更高;scripts/invariants.sh /usr/share/wowtype 全部 0
  • 没验证:双拼用例不在逐键检查里(读代码确认纠错、模糊音兜底在双拼下本来就关着);带模型的整套检查没在最后一处修改之后重跑(那一条用 wowtype-show 核对过);会话层(翻页、选句首词后剩下的部分)只读了代码,没有逐键的会话级检查。

cehaohou 那种只剩两个纠错候选的结果,top1 评测里只少一条,看不出来。新加 wowtype-eval --invariants
(scripts/invariants.sh,CI 在排序评测后面跑):tools/eval 的 7239 条用例逐键打(2.4 万个前缀),
每个前缀不带上文、带用例的上文、带「我本地」各查一次,可选再带神经语言模型,检查六条硬规则:
打对了的拼音第一个不是纠错的、第一个音节的单字一直在、候选不会只剩几个、加了上文或模型照着打的读法还在、
不重复。规则、和 librime / libime / libpinyin 的对照写在 docs/ENGINE-INVARIANTS.md。

修了的三处:
- 第一名是纠错的时(yusezhi 的「越职」、gaj 的「感」),句首词也按照着打的读法的音节边界对齐。
  以前只按纠错的音节对齐,yu、ga 的单字和句首词全被筛掉,yusezhi 整个候选框只有 6 个。
- protect_exact_input 之后按位置再拦一次:纠错的不排在第一个照着打的读法前面(音节更少的除外)。
  sheihaiyo 以前出「谁还要」:压它用的基准是补全的「谁还有」,补全的被挪走以后它又成了第一。
- 模糊音兜底的词标上 Feature::fuzzy(不进权重),compose_candidates 不拿它筛硬凑的整句。
  接着上文打 ninke 以前只剩「宁可」,照着打的「您可」整个没了。

评测(/usr/share/wowtype 的数据,rime-ice 927e1cf1,和基线同一份):各组和基线持平(逐组 +0.0)。
用户的规矩:按键纠错应该是添加可疑的候选词,而不是替代原候选词。不变量检查加上:
- typo / fuzzy / jianpin-only-adds、-outranks-typed:把这种机制关掉再查一次,关掉时第一页的词和排第一的
  照着打的读法开着时都还在、不排到它加进来的候选后面(fuzzy-outranks-typed 只报告,等用户定,见文档);
- completion-outranks-word:打全了的常用整词不排在补全出来的候选后面。

修了的:
- 同字同跨度留照着打的那条(collect_spans):cunzai 里没有「蹲」(cun),纠错读出来的 dun 便宜被留下又被筛掉;
- 句首词、长尾的名额纠错词另算(collect_spans、first_words);
- 第一名是纠错的时,拼音和打的字母一字不差的句首词都留(jitnian 以前只剩「今天」「金田」);第一名是模糊音兜底的词时
  也按照着打的读法对齐(kaoyang 的「烤烟…」);
- 纠错词只在没有照着打的读法时才当筛硬凑整句的基准(meiyuo 的「没雨哦」);整句名额被纠错的占满时照着打的第一句照留
  (接着上文打 weihuj 的「委户籍」);
- protect_exact_input 不拿模糊音兜底的词当锚点(jiesu:补全的「结算」压在「借宿」前面);新加
  completions_after_exact_words(fangxiangji:补全的「方向键」压在「芳香剂」前面);长尾补进来的打全了的常用词
  插在补全前面(qingkuan 的「请款」)。

wowtype-show 加 --no-typo、--no-fuzzy-fallback、--why(标出拼音和是谁加的)。

评测(/usr/share/wowtype 的数据,和基线同一份):trunc_exact 96.7% → 98.4%,mid 93.8% → 94.1%,其余持平;基线已更新。

| 组 | 用例 | top1 | 基线 top1 | 差 |
|---|---:|---:|---:|---:|
| regress | 69 | 91.3% | 91.3% | +0.0 |
| common | 1000 | 96.7% | 96.7% | +0.0 |
| mid | 1000 | 94.1% | 93.8% | +0.3 |
| rare | 1000 | 88.8% | 88.8% | +0.0 |
| jianpin | 1000 | 63.0% | 63.0% | +0.0 |
| trunc | 1000 | 92.2% | 92.2% | +0.0 |
| trunc_exact | 1000 | 98.4% | 96.7% | +1.7 |
| homophone2 | 300 | 100.0% | 100.0% | +0.0 |
| homophone3 | 200 | 99.5% | 99.5% | +0.0 |
| daily | 138 | 92.0% | 92.0% | +0.0 |
| context | 533 | 88.4% | 88.4% | +0.0 |
接着上文打 jidegeimamadadianhu(带模型):第一个是纠错的「借给妈妈打电话」(音节更少,可以第一),
compose_candidates 又把它的开头「借给…」(也是纠错的)放到第二位,压在照着打的「记得给麻麻打电话」前面。
开头词是纠错的时不放第二位。排序评测不变。

docs/ENGINE-INVARIANTS.md:修之后的数字(不带模型全部清零;带模型还有 4 条 typo-only-adds,是第一名的切法
换了以后换切法的句首词跟着没了,不是纠错替换,写了建议的修法)、模糊音兜底要不要也只加(等用户定)、
双拼 / 神经语言模型 / 会话层查下来的结论。
用户定的规矩。照着打的读法是词库里词频够的整词时它排第一,模糊音兜底的词紧跟其后
(penyou、zuijing、lindai、tiexiang);照着打只能几个字硬凑或靠补全时照旧模糊音的词第一
(shengme 什么、zhouba 走吧)。用户选过的模糊音词不挪。

检查:新硬规则 fuzzy-outranks-word,去掉只报告的 fuzzy-outranks-typed。不带模型全部规则 0 违反;
带模型只剩文档里记着的 4 条 typo-only-adds。

评测:regress 改了 penyou(喷油第一、朋友前两名)、加了 zuijing,72 条全过;mid 941 → 942,其余各组不变。
@Gloridust
Gloridust merged commit 8dde1d0 into pre-release Nov 19, 2026
29 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant