Repository navigation
排序不变量:纠错、模糊音、补全只能「加」候选,逐键查「永远不许出现」的结果 - #262
Merged
Merged
Conversation
cehaohou 那种只剩两个纠错候选的结果,top1 评测里只少一条,看不出来。新加 wowtype-eval --invariants (scripts/invariants.sh,CI 在排序评测后面跑):tools/eval 的 7239 条用例逐键打(2.4 万个前缀), 每个前缀不带上文、带用例的上文、带「我本地」各查一次,可选再带神经语言模型,检查六条硬规则: 打对了的拼音第一个不是纠错的、第一个音节的单字一直在、候选不会只剩几个、加了上文或模型照着打的读法还在、 不重复。规则、和 librime / libime / libpinyin 的对照写在 docs/ENGINE-INVARIANTS.md。 修了的三处: - 第一名是纠错的时(yusezhi 的「越职」、gaj 的「感」),句首词也按照着打的读法的音节边界对齐。 以前只按纠错的音节对齐,yu、ga 的单字和句首词全被筛掉,yusezhi 整个候选框只有 6 个。 - protect_exact_input 之后按位置再拦一次:纠错的不排在第一个照着打的读法前面(音节更少的除外)。 sheihaiyo 以前出「谁还要」:压它用的基准是补全的「谁还有」,补全的被挪走以后它又成了第一。 - 模糊音兜底的词标上 Feature::fuzzy(不进权重),compose_candidates 不拿它筛硬凑的整句。 接着上文打 ninke 以前只剩「宁可」,照着打的「您可」整个没了。 评测(/usr/share/wowtype 的数据,rime-ice 927e1cf1,和基线同一份):各组和基线持平(逐组 +0.0)。
用户的规矩:按键纠错应该是添加可疑的候选词,而不是替代原候选词。不变量检查加上: - typo / fuzzy / jianpin-only-adds、-outranks-typed:把这种机制关掉再查一次,关掉时第一页的词和排第一的 照着打的读法开着时都还在、不排到它加进来的候选后面(fuzzy-outranks-typed 只报告,等用户定,见文档); - completion-outranks-word:打全了的常用整词不排在补全出来的候选后面。 修了的: - 同字同跨度留照着打的那条(collect_spans):cunzai 里没有「蹲」(cun),纠错读出来的 dun 便宜被留下又被筛掉; - 句首词、长尾的名额纠错词另算(collect_spans、first_words); - 第一名是纠错的时,拼音和打的字母一字不差的句首词都留(jitnian 以前只剩「今天」「金田」);第一名是模糊音兜底的词时 也按照着打的读法对齐(kaoyang 的「烤烟…」); - 纠错词只在没有照着打的读法时才当筛硬凑整句的基准(meiyuo 的「没雨哦」);整句名额被纠错的占满时照着打的第一句照留 (接着上文打 weihuj 的「委户籍」); - protect_exact_input 不拿模糊音兜底的词当锚点(jiesu:补全的「结算」压在「借宿」前面);新加 completions_after_exact_words(fangxiangji:补全的「方向键」压在「芳香剂」前面);长尾补进来的打全了的常用词 插在补全前面(qingkuan 的「请款」)。 wowtype-show 加 --no-typo、--no-fuzzy-fallback、--why(标出拼音和是谁加的)。 评测(/usr/share/wowtype 的数据,和基线同一份):trunc_exact 96.7% → 98.4%,mid 93.8% → 94.1%,其余持平;基线已更新。 | 组 | 用例 | top1 | 基线 top1 | 差 | |---|---:|---:|---:|---:| | regress | 69 | 91.3% | 91.3% | +0.0 | | common | 1000 | 96.7% | 96.7% | +0.0 | | mid | 1000 | 94.1% | 93.8% | +0.3 | | rare | 1000 | 88.8% | 88.8% | +0.0 | | jianpin | 1000 | 63.0% | 63.0% | +0.0 | | trunc | 1000 | 92.2% | 92.2% | +0.0 | | trunc_exact | 1000 | 98.4% | 96.7% | +1.7 | | homophone2 | 300 | 100.0% | 100.0% | +0.0 | | homophone3 | 200 | 99.5% | 99.5% | +0.0 | | daily | 138 | 92.0% | 92.0% | +0.0 | | context | 533 | 88.4% | 88.4% | +0.0 |
接着上文打 jidegeimamadadianhu(带模型):第一个是纠错的「借给妈妈打电话」(音节更少,可以第一), compose_candidates 又把它的开头「借给…」(也是纠错的)放到第二位,压在照着打的「记得给麻麻打电话」前面。 开头词是纠错的时不放第二位。排序评测不变。 docs/ENGINE-INVARIANTS.md:修之后的数字(不带模型全部清零;带模型还有 4 条 typo-only-adds,是第一名的切法 换了以后换切法的句首词跟着没了,不是纠错替换,写了建议的修法)、模糊音兜底要不要也只加(等用户定)、 双拼 / 神经语言模型 / 会话层查下来的结论。
用户定的规矩。照着打的读法是词库里词频够的整词时它排第一,模糊音兜底的词紧跟其后 (penyou、zuijing、lindai、tiexiang);照着打只能几个字硬凑或靠补全时照旧模糊音的词第一 (shengme 什么、zhouba 走吧)。用户选过的模糊音词不挪。 检查:新硬规则 fuzzy-outranks-word,去掉只报告的 fuzzy-outranks-typed。不带模型全部规则 0 违反; 带模型只剩文档里记着的 4 条 typo-only-adds。 评测:regress 改了 penyou(喷油第一、朋友前两名)、加了 zuijing,72 条全过;mid 941 → 942,其余各组不变。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
为什么
cehaohou只剩「的好后」「得好后」(72bf8e2 修的)这类结果,top1 评测里只少一条,看不出来。根子是精确匹配、纠错、补全、简拼、模糊音、语言模型重排都折算成一个分数再排,「照着打的读法优先」这类规矩散在几个按分数、按位置挪候选的函数里,后一个能把前一个冲掉。
用户的规矩:按键纠错应该是添加可疑的候选词,而不是替代原候选词,这次当成硬规则查和修。
和 librime / libime / libpinyin 的对照、全部规则、查出来的和修了的见
docs/ENGINE-INVARIANTS.md(只借思路,没抄代码)。加了什么
wowtype-eval --invariants(core/src/bin/common/invariants.rs)+scripts/invariants.sh:tools/eval的 7239 条用例逐键打(2.4 万个前缀),每个前缀不带上文、带用例的上文、带「我本地」各查一次,可选带nnlm.bin。规则:wowtype-eval,不带模型,约 2.5 分钟)。wowtype-show加--no-typo、--no-fuzzy-fallback、--why。修了的(每处都有单元测试)
yusezhi只剩 6 个候选,jitnian只剩「今天」「金田」,gaj、saj、ern没有第一个音节的字。sheihaiyo的「谁还要」)。ninke只剩「宁可」)。meiyuo的「没雨哦」没了)。weihuj一个照着打的整句都不剩)。cunzai里没有「蹲」cun)。qingkuan的「请款」、fangxiangji的「芳香剂」、接着上文打jiesu的「借宿」)。jidegeimamadadianhu)。修之前(72bf8e2),前六条规则:不带模型 29 条违反,带模型 66 条(
suanlibugouxunli只剩 3 个候选、第一个是纠错的「山里不够训练」)。修之后:不带模型全部 0(CI 的配置);带模型还有 4 条,写在文档「还没修的」里,有建议的修法。
排序评测(/usr/share/wowtype 的数据,rime-ice 927e1cf1,和基线同一份)
tools/eval/baseline.tsv已更新(「数据」一行没动)。等用户定
模糊音兜底现在会排到照着打的读法前面(
zhouba第一是「走吧」,照着打的「周报」第二)。按上面的规矩这也算替代,但回归集第 82、83 条要求shengme→ 什么、penyou→ 朋友 排第一。现在「只加不删」是硬规则(已清零),「排到前面」只报告(fuzzy-outranks-typed,不带模型 57 条)。要改的话文档里写了改哪一行。验证
cargo test -p wowtype-core通过scripts/addon-test.sh /usr/share/wowtype/lexicon.tsv /usr/share/wowtype/english.txt通过(KEY HARNESS OK)scripts/eval.sh和基线持平或更高;scripts/invariants.sh /usr/share/wowtype全部 0wowtype-show核对过);会话层(翻页、选句首词后剩下的部分)只读了代码,没有逐键的会话级检查。