91 por站 › 文章 › 摩尔线程完成Kimi-K3.1 Pro Day-0适配 打通文本图片推理

摩尔线程完成Kimi-K3.1 Pro Day-0适配 打通文本图片推理

· 文章

月之暗面公布Kimi K3.1 Pro完整模型权重后,国产算力侧的适配进展迅速跟上。摩尔线程宣布,基于AI训推一体智算卡MTT S5000及MUSA软件栈,已完成Kimi-K3.1 Pro模型的Day-0适配,模型加载、服务启动以及文本、图片基础推理链路均已打通。

机房里的智算服务器机柜

开放权重榜单上的新面孔

Kimi K3.1 Pro于本月4日由月之暗面正式公布完整模型权重。在Arena运营的Agent Arena智能体排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第13位,并在工作、编程与聊天三个类别中均居开放模型首位。

作为K3.1系列首款模型,Kimi K3.1 Pro也是迄今能力最强的3万亿级参数模型,支持100万上下文。经过大规模后训练和强化学习,模型在代码、3D创作、金融研究、知识问答及长程Agent任务等方面全面提升。在代码与Agent基准测试中,其表现已达到或接近顶尖闭源模型水平:Terminal-Bench 4.0得分65.7%,Kimi Code Bench 3.0 Long-horizon得分61.2%,高于K3的55.95%。

MUSA软件栈承接关键推理路径

围绕Kimi K3.1 Pro的模型架构与计算特性,摩尔线程通过MUSA软件栈完成了关键推理路径迁移与适配,支持模型在MTT S5000上稳定运行。官方表示,MUSA在编程模型、运行时接口和AI框架层面的快速兼容迁移能力,是本次快速适配的重要基础。

具体而言,团队基于SGLang-MUSA承接上游模型实现,并通过MATE算子库、Triton-MUSA、TileLang-MUSA及MTCC编译器,完成新架构关键计算路径的迁移与接入,将社区模型代码转化为MTT S5000上的实际推理服务。MUSA软件栈同时覆盖框架执行、算子编译、设备运行和多卡通信,使模型适配能够复用成熟接口,并针对新增计算路径开展优化。

服务器主板与散热模块特写

稀疏注意力与视觉计算落地

针对Kimi-K3.1 Pro采用的稀疏注意力DSA,MUSA软件栈完成了索引选择、KV缓存布局及Prefill、Decode计算路径的适配,接入MATE稀疏注意力算子,并与KDA状态管理、跨层残差及视觉Attention共同组成完整执行链路。

面对模型采用的MXFP4专家权重,团队通过在线转换与跨层复用FP8工作区的方式执行专家计算,无需预先生成完整的离线FP8权重,为超大模型快速部署提供支持。

写在最后

从模型权重公布到推理链路跑通,Day-0适配考验的不只是单卡算力,更是软件栈对新增计算路径的消化能力。对3万亿级参数模型而言,稀疏注意力与低精度专家权重的落地方式,将直接影响后续部署的效率与成本。

数据中心走廊的指示灯带