作者您好，我很欣赏你们的skillopt项目，最近在看你们项目代码的过程中，对选择 LiveMathematicianBench 有一点担心。
该数据集中存在固定的 meta-option：
One of the remaining options is correct, but a stronger result can be proven.
根据 LiveMathematicianBench 论文和生成代码，只要这个选项出现，它就是正确答案。因此模型不需要完成数学推理，只要识别这段固定文本就能答对。
SkillOpt 发布的 LiveMath skill 也学到了这条规则。并且官方切分中，meta-option 题在 train、validation 和 test 中分别约占 60%、59% 和 43%，可能会让验证机制奖励这种 shortcut。
请问作者是否考虑过这个问题？
谢谢
作者您好，我很欣赏你们的skillopt项目，最近在看你们项目代码的过程中，对选择 LiveMathematicianBench 有一点担心。
该数据集中存在固定的 meta-option：
One of the remaining options is correct, but a stronger result can be proven.
根据 LiveMathematicianBench 论文和生成代码，只要这个选项出现，它就是正确答案。因此模型不需要完成数学推理，只要识别这段固定文本就能答对。
SkillOpt 发布的 LiveMath skill 也学到了这条规则。并且官方切分中，meta-option 题在 train、validation 和 test 中分别约占 60%、59% 和 43%，可能会让验证机制奖励这种 shortcut。
请问作者是否考虑过这个问题？
谢谢