Kimi K3 技术报告 · 白话解读版

Kimi K3 是月之暗面开源的最大模型：总参数 2.8T，但每次只动用 104B（约 3.7%），上下文最长 100 万 token，天生能看图看视频。

过去做大模型，大家的思路是「训练前投入更多算力」——模型越大、数据越多，效果越好。这是第一条扩展轴。

推理模型的兴起带来了第二条扩展轴——测试时计算：让模型在回答问题时多想一会儿（强化学习 + 更长推理），效果也会变好。OpenAI 的 o 系列、Anthropic 的 extended-thinking、DeepSeek-R1 都是这条路上的玩家。

这一章的潜台词是战略级的：开源社区需要一个「地基足够大」的模型，否则推理增强的天花板会被预训练基座锁死。K3 就是在补这块短板。

这一章是全文最硬核的部分，也是理解 K3 的关键。核心思路一句话：沿着序列、深度、宽度三个维度，让信息在模型里流动得更充分、更便宜。

原文 Figure 2 ·K3 架构总览：围绕 token、channel、layer 三个维度的信息混合，输入处带原生视觉通路。每个块含 3 层 KDA + 1 层 Gated MLA，每层注意力配一个 Stable LatentMoE 前馈网络；左上为 MoE 模块（共享 + 路由专家）、左下为 KDA 模块、右下为原生视觉通路。

2.1 混合注意力：一个「高速缓存 + 全量档案室」的组合

K3 的每个块（block）里有 4 个注意力层，按 3 个 KDA + 1 个 Gated MLA 的比例排列（3:1 混合，末层强制全局注意力）。两种注意力分工不同：

2.2 Attention Residuals：让每一层都能「直连」前面所有层

传统残差连接（ResNet 式）的问题：信息从第一层传到第 100 层，中间每层都要「转手」，最后全被压进一个单一状态——就像传话游戏，传得越远越失真。

2.3 Stable LatentMoE：896 个顾问，每次只请 16 个

混合专家（MoE）的思路：不训练一个「全知全能」的模型，而是训练几百上千个「专家」，每个 token 只激活少数几个。K3 把专家数扩到 896 个路由专家 + 每层 2 个共享专家，每个 token 激活 16 个，稀疏度 56。

但极端稀疏（896 选 16）暴露了两个老问题：路由分支里激活值爆炸（数值越算越大）；近千个专家的负载均衡很难做。K3 用三招解决：

原文 Figure 5 ·Quantile Balancing 示意（8 个 token、4 个路由专家、每 token 选 1 个专家）：(a) 普通 Top-k 路由导致负载 (4,3,1,0)，专家过载/闲置/濒死；(b) 按分位数调整偏置；(c) 调整后负载变成完美的 (2,2,2,2)。

2.4 原生视觉：图像视频是「一等的公民」

K3 是原生多模态的：文本、图像、视频由同一个共享骨干处理，不是事后拼接一个视觉编码器。关键差异是视觉编码器 MoonViT-V2 完全从零训练（27 层、约 0.4B 参数），不再用 SigLIP 等预训练模型初始化。

视觉细节：2×2 pixel-shuffle 下采样把视觉 token 压缩四分之一，最高支持 3584×3584 像素输入；注意力分解为帧内空间 + 帧间时间两条通路。

2.5 Per-Head Muon：更细粒度的优化器

K3 用 Muon 优化器（K2 沿用），但对注意力投影做了「逐头」改进：不再对整个 Q/K/V 矩阵做一次正交化，而是按注意力头切分、每个头单独做。原因：全矩阵正交化会让「头大」的注意力头主导更新方向，「头小」的得不到充分更新。逐头化之后，各头学习动态更均衡、大模型训练更稳定，还顺带省了点开销。

3.1 数据：四大文本领域 + 大规模视觉语料

文本：Web 文本、代码、数学、知识四大领域，每个都经过规则启发式 + 分类器打分 + 去重三重过滤；知识与数学语料还做了「改写」（用多样化的提示重写，再对照原文校验保真度）。

视觉：图像描述、图文交错文档、OCR、感知、视频、视觉编程；坐标监督同时给绝对和归一化两种格式（精确定位 + 分辨率鲁棒）；还大规模扩展了「程序化多模态数据」——把代码片段和它渲染出的视觉结果配对（SVG、3D 资产、网页、游戏、CAD）。

3.2 规模定律：2.5× 是怎么来的

架构改了，最优训练区间也变了，所以要重新做「规模定律」研究（batch size、学习率、token 与参数比、模型形状）。结果：这些改进合计带来相较 K2 约 2.5× 的整体规模效率提升。

原文 Figure 7 ·Kimi K2 与 Kimi K3 的规模定律拟合曲线：同样算力下 K3 的损失更低，即同等投入获得 2.5× 的规模效率提升。

3.3 训练配方：语言视觉从一开始就一起学

原生多模态策略：视觉和文本在同一个「下一 token 预测」目标里交错出现，从训练第一天起就联合优化——不是先练语言、再嫁接视觉。

3.4 长上下文扩展：怎么撑到 100 万 token

三件事配合：

预训练让模型会语言，后训练让它会做事。K3 的三阶段配方：SFT（打基础）→ RL（出专家）→ MOPD（合并成一人）。

4.1 三阶段方法

RL 里的三个精巧机制

面向部署的两件事

MXFP4 量化感知后训练：MoE 专家权重量化到 MXFP4（占显存大头），激活 MXFP8，非专家组件保持高精度；整个 SFT+RL 全程做 QAT，RL 期间训练和推理共用同一量化方案（消除训练-推理不一致）。

草稿模型微调（投机解码加速）：把预训练自带的 MTP 层微调成 EAGLE-3 风格的草稿模型——小模型先「猜」，大模型验证，猜中了就跳着生成，速度翻倍。草稿输入融合目标模型的低/中/高层特征，直接优化「接受率」而不是 KL 散度（LK 损失）。

4.2 任务合成与智能体环境：怎么造出好「练习题」

RL 效果高度依赖环境的质量和多样性。K3 造了六类环境：

还有第七类：Web 开发任务（网站、游戏、3D/WebGL、SVG、全栈应用），确定性功能测试 + 模型评判双重打分。

模型再强，练不出来、跑不快也白搭。这一章是系统工程师的主场，讲了三组挑战：KDA 注意力怎么在 GPU 上高效跑、3T 级 MoE 怎么均衡训练、百万 token 智能体怎么强化学习。

5.1 KDA 的算法-系统协同设计

KDA 用固定大小的循环状态取代不断增长的 KV 缓存——状态小是优点，但「串行更新」和 GPU「喜欢并行」冲突。解法分三层：

5.2 3T 级预训练基础设施

三个老大难：专家并行时 token 负载不均；激活/梯度/优化器状态超显存；视觉编码器计算量可变、暴露在关键路径。对应三个方案：

5.3 百万 token 智能体 RL 的基础设施

目标是：一个百万上下文的 RL 实验只占几百张 GPU。两个手段：

5.4 推理与在线服务

服务侧三个挑战：混合 KDA–MLA 维护两种本质不同的缓存；新模块需要定制内核；生产流量单请求成本横跨三个数量级。

6.1 主要结果（四大能力轴线）

评测对手：最强闭源 Claude Fable 5、GPT-5.6 Sol（下称「双雄」），以及 Claude Opus 4.8、GPT-5.5、开源 GLM-5.2。总体结论：紧追双雄，稳定领先其他所有模型。

原文 Figure 1 ·Kimi K3 主要结果矩阵（3×4 benchmark 条形图）：蓝色为 K3，可见在推理、知识、编程、智能体、视觉各轴线上紧贴最强闭源模型（深色），并明显领先其他开源模型。

6.2 内部评测：更细的放大镜

网络安全评测（这版报告独有的内容）

按操作风险分两级：Tier 1 漏洞发现（防御向）和 Tier 2 漏洞利用开发（攻击向，最敏感）。

报告强调：这些数字是「能力下界」——受当前模型版本和评测覆盖范围限制，会随每次重大更新重新评测。

6.3 第三方评测：别人考它，成绩单也很亮

6.4 成本效率：闭源模型的「零头」

原文 Figure 13 ·四个基准（Kimi Code Bench 2.0、BrowseComp、GDPval-AA v2、AA-Briefcase）上的「分数 vs 单任务推理成本」散点图，五角星为 Kimi K3——四个套件都位于或接近成本效率前沿（左上角）。

评测是考试，案例是实战。六个案例证明 K3 能独立完成复杂工程任务。

原文 Figure 14 ·案例一：AttnRes 内核优化轨迹——24 小时预算内延迟从 283.6ms 压到 114.4ms（降 60%），优化节奏与 Claude Fable 5 持平、优于其他模型。

原文 Figure 15 ·案例二：MiniTriton 编译器——(a)(b) CUDA-core 与 tensor-core roofline 上逼近 cuBLAS；(c) 用它端到端训练的 GPT 损失曲线与 torch eager 重合；(d) 基于自家 NCCL 原语的两卡数据并行训练。

Kimi K3——全球首个开源的 3T 级模型，原生视觉 + 100 万 token 上下文，建立在 KDA 与 AttnRes 之上。在长周期编程、智能体、知识、推理和视觉任务上交付前沿级性能。