custom_fusedmoe.py 作为对外暴露的 MoE fused kernel 接入文件。
调用和改写:
RoutedMoEKernel的初始化和__call__接口固定;- 内部实现可重写调整。
如下命令可以自动跑功能和性能测试,结果输出在终端
python fusedmoe_benchmark.py或者
bash run.sh可以在moe_test_config.json中直接添加测试case,目前有性能和功能各两个
当前默认:input float16, output float32
功能测试正确输出
✅ Functional test passed for config:功能测试错误输出
❌ Functional test failed for config:torch
tilelang
apache-tvm-ffi