【CNMO科技消息】11月4日，月之暗面正式公布Kimi K3.1 Pro的完整模型权重。11月5日，华为中国宣布，昇腾基于vLLM Ascend与SGLang完成0Day推理适配，支持昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品部署该模型。围绕Kimi K3.1 Pro新增的稀疏注意力、百万级上下文与推理服务需求，昇腾在算子与框架层面做了协同优化，让用户在模型发布首日就能开展部署与应用验证。
华为Logo
Kimi K3.1 Pro是K3.1系列的首个模型，拥有2.8万亿参数，原生支持视觉理解，上下文窗口达到100万token，并在K3基础上扩大了后训练规模，能力提升集中在代码开发、3D创作、金融研究、事实准确性与长程智能体任务。它在计算架构上采用混合线性注意力，把KDA线性注意力层与DSA稀疏注意力层组合使用——要真正吃下这套架构的算力优势，算子执行、缓存管理与跨卡通信必须一起调，这也是适配工作的难点所在。
昇腾推理团队此前已有Kimi K3的适配积累，这次提前做了模型分析，在既有KDA与MoE支持的基础上，补上了K3.1 Pro新增的稀疏注意力路径与多模态推理。落到算子层面有几处具体改动：QLI量化索引器负责从历史token中筛选候选，昇腾把因果边界判断下沉到索引算子，直接确定当前查询可访问的历史范围，减少框架侧的辅助操作，并让多个DSA层共用的元数据按组生成、跨层复用；QSFA量化稀疏注意力按模型实际使用的注意力头数与输入布局优化，减少填充、拆分与拼接，对没有有效候选的查询直接跳过计算；注意力预处理则接入MLAPO融合算子，把投影、归一化与量化合并执行，有效KV直接写入分页缓存，省掉独立算子启动与二次写入。
月之暗面Kimi
长上下文的显存问题是另一道坎。随着序列变长，历史缓存占用持续上升，昇腾通过解码上下文并行（DCP）把主注意力的KV缓存与索引器的K缓存按token分片存到多张卡上，各卡先基于本地K缓存筛选候选，再交换信息确定全局Top-K，无需为筛选汇集完整历史缓存，从而支撑1M超长序列部署。框架侧，前缀缓存、分块预填充、PD分离与内存池化等能力继续可用，并叠加MRV2、异步调度与DSpark投机推理。量化部署上，Attention线性层与MoE共享专家采用W8A8（MXFP）动态量化、MoE路由专家采用W4A8（MXFP）动态量化，配合动态C8注意力缓存量化，进一步压低存储与显存开销。相关部署指导已在vLLM Ascend与SGLang文档中公开。
