[BUG] 昇腾平台图模式开启输出异常

[Jingbo-gao]

版本
0.1.0

问题描述
昇腾平台开启图模式，decode阶段输出异常

如何复现
InfiniCore编译命令：xmake f --ascend-npu=true --aten=y --flash-attn=y --ccl=y --graph=y -cv
InfiniLM编译命令：pip install -e .
模型推理命令：ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python examples/bench.py --device ascend --model=/data/FM9G_70B_SFT_MHA/ --tp=8 --input-len=32,32 --output-len=256 --batch-size=16 --enable-paged-attn --attn=flash-attn --enable-graph

预期结果
推理结果正确输出

截图

关闭 skip_special_tokens=False 之后