快科技11月5日消息，月之暗面刚刚放出Kimi K3.1 Pro完整模型权重，华为昇腾就完成0Day推理适配，模型发布当天就可以直接做部署验证。
Kimi K3.1 Pro参数规模达到2.8万亿，属于MoE混合专家模型，原生支持视觉理解，拥有百万token超大上下文窗口。
在代码编写、3D创作、金融分析、长文档处理这些任务上相比上代有明显提升。它用了混合线性注意力架构，新增稀疏注意力模块，想要跑顺这套模型，算子、缓存、多卡通信都需要针对性调优。
本次适配支持Atlas 800 A3、Atlas 900 A3 SuperPod，还有昇腾950超节点硬件，依托vLLM Ascend、SGLang两套推理框架实现。
昇腾团队之前就有Kimi K3 的适配经验，这次提前分析模型结构，补齐新增加的稀疏注意力、多模态推理相关适配工作。
为了扛住百万长度序列，昇腾做了不少底层优化。通过分布式缓存技术，把缓存分散到多张NPU卡上面，减轻单卡显存压力。
同时对多个核心算子做改造，减少多余的数据拷贝、无效计算，提升硬件的实际利用率。
部署的时候既可以直接加载原生权重，也能开启分模块量化方案。不同模块采用不一样的低比特量化策略，搭配注意力缓存量化，能够降低显存占用，让大模型跑起来更加节省硬件资源。
开发者不用改变原有使用习惯，之前熟悉的前缀缓存、分块预填充、投机推理这些能力全部保留，可以直接把Kimi K3.1 Pro接入自己现有的推理服务。
官方已经放出两套框架对应的部署文档，开发人员可以直接查阅参考。
vLLM Ascend部署指导：https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/Kimi-K3.1-Pro.html
SGLang部署指导：https://github.com/sgl-project/sglang/issues/48348
