详解 Kimi K3：冲击前沿的开放权重模型
"开源了权重，没开源产生权重的'流水线'。"——晚点LatePost 原文题记
“开源了权重，没开源产生权重的’流水线’。“——晚点LatePost 原文题记
本报告以晚点LatePost 于 2026 年 8 月 5 日发布的《详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？丨晚点播客》为唯一来源，对访谈内容做主题化拆解。访谈嘉宾为 RadixArk 创始成员赵晨阳（SGLang 核心开发者出身）与华盛顿大学博士生曾致远，二人分别从推理基础设施与算法两条线索解读 K3。正文以本报告作者的转述为主（EDITORIAL），关键论断保留归属（SOURCE），少量短引用注明出处（QUOTE）。
1. 来源与阅读方式
| 项目 | 内容 |
|---|---|
| 原文标题 | 详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？丨晚点播客 |
| 发布账号 | 晚点LatePost（微信公众号） |
| 发布日期 | 2026-08-05 |
| 访谈栏目 | 《晚点聊 LateTalk》 |
| 嘉宾 | 赵晨阳（RadixArk 创始成员、SGLang 核心开发者出身）；曾致远（华盛顿大学博士二年级） |
| 原文链接 | https://mp.weixin.qq.com/s/KydWDORAkByannmR9jt5ZQ |
| 标记 | 含义 |
|---|---|
SOURCE | 原文（含 K3 技术报告转述）给出的事实与数字 |
QUOTE | 保留原文措辞的短引用，均注明说话人 |
EDITORIAL | 本报告的组织、类比与推断 |
2. K3 概览：首个接近 3T 的开放权重模型
K3 于 7 月 27 日公开完整权重与技术报告：总参数量 2.8T、激活参数 104B，支持原生多模态与百万 token 上下文，是首个接近 3T 规模的开放权重模型（SOURCE）。开源的边界值得单独列出，因为它直接定义了”开放”与”护城河”的分界：
| 已开放 | 未开放 |
|---|---|
| 模型权重 | 强化学习环境 |
| MoonEP（超大规模 MoE 专家并行系统） | 用于生成任务的知识图谱系统 |
| FlashKDA（KDA 注意力高性能算子） | 合并前的专家 checkpoint |
| AgentENV（Agent 隔离运行环境） | — |
赵晨阳在访谈中指出，未开放部分恰恰是公司的深层护城河：“全世界可以获得 K3 这一代的智能，但没有得到如何造出下一代模型的完整流水线”（QUOTE）。换言之，开放权重缩小的是”这一代”的能力差距，而不一定是双方的迭代速度差距——迭代还需要环境、验证与算力，这些都超出权重本身（SOURCE）。
3. 能力定位：前端、长程任务与成本账
使用体感上，曾致远认为 K3 在多数场景下的体验与 Claude Opus 4.8 相当，部分任务更好，尤其在 Agent 框架中持续执行复杂长程任务不易跑偏；缺点是响应偏慢，且面对模糊信息有时会替用户做决定（SOURCE）。前端能力是 K3 的亮点：它一度登顶 Frontend Code Arena。曾致远把原因归结为评测驱动的数据工程——预训练扩大代码与渲染图像配对数据、后训练加入网页开发任务，以及技术报告所述的”Vision-in-the-Loop”流程：写代码、看截图、据视觉反馈反复修改（SOURCE）。
成本账是理解”贵/慢”吐槽的关键。访谈给出的口径区分了每百万 token 单价与单任务总成本，后者对复杂长程任务更有意义：便宜的模型若不断绕路，最终反而更贵（SOURCE）。技术报告数据显示，在 Kimi Code Bench 2.0 上 K3 得分比 Claude Fable 5 低 4 分但成本约为其 38%；在 high effort 档位追平 Claude Opus 4.8 的 maximum effort，成本约三分之一（SOURCE）。官方 API 定价为缓存命中输入 0.3 美元/百万 token、未命中 3 美元、输出 15 美元，作为对照 DeepSeek-V4-Pro 约为 0.004/0.44/0.87 美元（SOURCE）。
4. 架构一：KDA–MLA 混合注意力与 NoPE
K3 的整体思路是让信息在序列与深度两个方向更高效地流动（SOURCE）。序列方向采用 3∶1 的混合注意力：三层 KDA（Kimi Delta Attention，线性注意力）配一层 Gated MLA（带门控的多头潜在注意力），以全局注意力弥补纯线性注意力在长距离检索上的局限；该配比此前已在 48B 的 Kimi Linear 上以消融实验验证（3∶1 的困惑度最优，1∶1 效果相近但成本更高），K3 基本沿用并在末尾额外加一层全局注意力（SOURCE）。
线性注意力的取舍在于固定大小的 recurrent state：缓存与单步计算不随上下文增长，代价是有限状态中的信息互相干扰、早期细节被覆盖。KDA 以 Delta Rule（只写入预测偏差）、逐通道遗忘门、保留系数下限等手段管理有限记忆，但真正缓解百万上下文遗忘的关键仍是混合架构——MLA 层可直接关注全部历史（SOURCE）。
另一个标志性选择是 NoPE：不使用显式位置编码（同期的 DeepSeek-V4、GLM-5.2、MiniMax M3 仍保留部分 RoPE）。位置信息由 KDA 递推更新中的门控与衰减隐式编码；扩展到百万上下文时无需重调 RoPE 参数或做 YaRN 插值（SOURCE）。
混合架构在推理侧的收益可以用缓存账目直观理解（SOURCE）：
| 组件 | 缓存形态 | 百万上下文开销（SGLang 适配口径） |
|---|---|---|
| 69 层 KDA | 固定大小 recurrent state | 约 54 MB（每请求固定） |
| 24 层 MLA | 每 token 约 27 KB | 约 27 GB |
若 69 层也改用全注意力，还将再增数十 GB。Kimi 官方口径在百万上下文下可实现约 6.3 倍解码加速（SOURCE）。但 recurrent state 也给前缀复用带来新难题：传统 KV Cache 像”只往后写的笔记本”，KDA 状态却像”不断擦写的白板”。K3 的方案是把前缀哈希粒度与物理块分配粒度解耦、切成小片段管理；SGLang 则设计了”先复制再修改、关键位置存状态、用完交还缓存”一类操作来兼容（SOURCE + EDITORIAL 比喻归属原文）。
5. 架构二：Attention Residuals、Quantile Balancing、Per-Head Muon
深度方向上，K3 采用 Attention Residuals（AttnRes）：标准残差把各层输出以固定权重 1 直接相加，层越深新信息越被稀释；AttnRes 相当于”把普通 Attention 旋转 90 度”——在层与层之间做选择，每层用可学习的 pseudo-query 按内容选择性读取前层表示（SOURCE）。访谈将其与 DeepSeek-V4 的 mHC 对照：mHC 维护多条并行残差流并递归压缩，更像 RNN/线性注意力；Full AttnRes 可直连所有浅层，更像 Transformer，理论上限更高；K3 实际采用的是分块的 Block Attention Residuals 以控制显存与通信成本（SOURCE）。两条路线已分别被 K3 与 DeepSeek-V4 证明可扩展到前沿规模（SOURCE）。
MoE 路由方面，K3 每个 token 从 896 个路由专家中选 16 个，稀疏度极高。其 Quantile Balancing 改进了 DeepSeek-V3 的偏置法：后者以固定步长按”过热/过冷”方向调整偏置，仍需步长超参；K3 则直接根据分数分布估计偏置量——以加偏后排名第 17 的分数作为进入前 16 的门槛，据此计算使某专家约被 16/896 的 token 选中的新偏置（SOURCE）。曾致远推断这是 K3 能稳定扩展到接近 3T 的重要因素之一（SOURCE）。
优化器方面，K3 在 K2 的 MuonClip 之后提出 Per-Head Muon：Muon 先算动量再近似正交化以避免更新被少数主导方向占据；普通 Muon 把所有注意力头放在一起正交化，大尺度头会主导更新，Per-Head Muon 改为逐头正交化以均衡训练动态（SOURCE）。算法直接，难点在工程：QKV 被融合切分、优化器状态分散在各 GPU rank，需保证头的逻辑边界不被打散并把大量小矩阵合并计算，K3 为此把通信与正交化做成流水线（SOURCE）。
赵晨阳对架构演进给出一个值得记住的概括：“与其说 Transformer 还有空间，不如说 Attention 已经成为一种接口”，信息如何混合、残差如何连接、FFN 采用什么结构都可重新组合，“它像’忒修斯之船’，甲板和龙骨不断被替换，船名却保留下来”（QUOTE）。KDA 从论文到进入 K3 主线不到一年，说明有效组件不必等待新范式即可进入主流模型（SOURCE）。
6. 后训练：MOPD 九专家蒸馏合并
K3 的后训练采用”先分后合”：先训练九个领域/推理强度不同的专家模型，再以 MOPD（Multi-Teacher On-Policy Distillation，多教师在线蒸馏）合并为统一模型（SOURCE）。其价值在于解耦：通用推理、Coding Agent、通用 Agent 不只是数据不同，训练环境、奖励策略、Rollout 长度、评测 harness 与基础设施都可能不同；联合强化学习会把这一切耦合在一起，而 MOPD 让各团队独立迭代、最后统一蒸馏（SOURCE）。公开采用类似路线的模型包括 MiMo-V2-Flash、DeepSeek-V4、NVIDIA Nemotron 3 Ultra 与 K3（SOURCE）。
算法形态上，MOPD 是 on-policy 的：学生模型自己生成轨迹，相关领域教师对轨迹打分提供稠密奖励；而更传统的蒸馏是教师预生成固定答案、学生在离线数据上模仿（SOURCE）。二者的选择取决于场景：合并多专家能力时 on-policy 通常更合适，但若只能拿到教师输出答案，则只能 off-policy（SOURCE）。访谈也澄清了对”蒸馏自我提升”的想象：蒸馏主要在模型间转移或整合能力，难以在无可靠外部监督时持续创造新能力；“左脚踩右脚”目前更多是愿景（SOURCE）。
7. 推理与训练基础设施：另一个 KDA 也很伟大
投机采样与 recurrent state 的冲突是适配 K3 时最有意思的工程问题：投机采样要求目标模型在验证后能回退状态，全注意力模型删除末尾即可，KDA 却原地重写状态。SGLang 的解法是不存完整状态，只存每步约 1 KB 的极小投影，回退时从验证前状态重放被接受的 token 重建——“就像记录棋谱，不需要每一步都拍下整个棋盘”（QUOTE，赵晨阳）。K3 技术报告后来独立采用了类似设计（SOURCE）。
FlashKDA 针对线性注意力的串行依赖：chunk 内并行、chunk 间串行传递状态，朴素实现会让算力空转；FlashKDA 基于 CUTLASS 把 chunk 内计算与 chunk 间状态传递重叠起来（SOURCE）。由于 recurrent state 会被原地覆盖，kernel 还要处理状态何时持久化、写入何处、如何避免覆盖其他请求正在读取的状态——kernel 与缓存管理的边界因此变模糊（SOURCE）。
QAT（量化感知训练）方面，K3 从 SFT 阶段就开始 QAT，并强调强化学习采样与训练采用一致的量化方案：若训练用 BF16、采样用 NVFP4，产生数据的策略与正在优化的策略不再相同，构成 off-policy 偏差，对 MoE 尤其可能造成训练不稳定（SOURCE）。赵晨阳评价这套一致精度基础设施”非常难”，需要庞大基础设施甚至专门 kernel 团队（SOURCE）。
递归自我改进（RSI）在 kernel 开发领域已见雏形。K3 技术报告给出直接例子：早期 checkpoint 已能参与 kernel 开发。其奖励设计以 PyTorch 基准版本为正确性与性能底线，数值误差超阈值记零分，再与专家 kernel 比较、越接近硬件上限奖励越高，并惩罚恶意重放 CUDA Graph、缓存”打表”等作弊（SOURCE）。kernel 开发适合 RSI 的三个特点：奖励准确且便宜、性能与正确性易验证、作弊方式有限（SOURCE）。但更广义的 RSI 仍受限于评测与 harness——数学与编程 2025 年进步快正因为相对容易评估，而编程任务正变得难以评估，进步速度可能放缓（SOURCE）。这里还有第二个”KDA”的双关：Kernel Development Agent（EDITORIAL 注：原文亦如此类比）。
8. AgentENV：隔离、长尾与 Harness 泛化
AgentENV 的设计哲学是”不以限制能力换安全，而以更强隔离放宽能力边界”：早期容器沙盒易内核崩溃或死锁，K3 团队改用 Firecracker 微型虚拟机提供更高隔离，赋予模型更高系统权限的同时保证单个沙盒崩溃不影响其他沙盒（SOURCE）。
长尾问题上，一条 Agent 轨迹可能含上千次工具调用、累计百万 token，个别慢请求会阻塞整个 batch。Kimi 沿用 K1.5 论文提出的 Partial Rollout：一定比例轨迹完成后先用已完成部分训练，未完成轨迹暂停保存、下轮继续；系统层面则尽量保留 KV Cache 等历史状态以避免重复 Prefill（SOURCE）。这带来数据过时——轨迹前半由旧 checkpoint 生成、后半由新版本生成，不再是严格 on-policy；K3 以逐 token 正则把每次策略更新约束在局部范围内，“用算法上的宽容换取基础设施的自由”（QUOTE 式概括，归属原文表述）。
Harness 泛化方面，K3 把 Agent Harness 拆成可配置模块（工具接口、System Prompt、上下文管理、Skills、Memory 等），以不同组合模拟多种主流 Agent 框架，避免模型过拟合单一 harness（SOURCE）。访谈以”美团换饿了么""Gmail 换 Outlook”类比：闭源平台同样面临组件差异下的过拟合问题（SOURCE）。
9. 开源之辩：权重无法”下架”，护城河在流水线
K3 发布前后，美国科技界围绕开源爆发激烈辩论：英伟达、微软等五十余家公司联署公开信《开放权重模型与美国领导力》，黄仁勋转发，OpenAI 表态支持但未签（截至原文发稿 OpenAI 与 Amazon 已签、Anthropic 未签）；Anthropic 主张限制大规模蒸馏并对高能力模型强制安全测试（SOURCE）。
赵晨阳认为争论表面是开源与闭源，核心是哪种模式更安全；高能力模型会主动寻找规则与环境的漏洞，前沿智能的归属可能需要类似核不扩散机制的国际治理框架（SOURCE）。技术层面上，权重一旦发布即被复制、镜像、量化、微调，政策可以限制未来发布，但无法”下架”已流出的模型（SOURCE）。
对”开源逼近闭源冲击估值”的讨论，曾致远给出一种具体情形：企业使用 Coding Agent 时可能不愿把内部数据交给第三方闭源模型，若开放权重模型（或经针对性微调）能满足需求且具备私有化部署条件，就可能转向开源（SOURCE）。但也要看到用户数据飞轮的价值：闭源公司通过 API 与自有应用获得大量真实高质量 prompt，而开放权重后数据不再回传；且目前有条件部署 3T 模型的机构仍然很少（SOURCE）。
10. 展望：代差、平台期与持续学习
关于开源能否在今年内超过闭源，曾致远的判断是：前沿实验室内部最强模型通常比公开发布的模型领先半代到一代，开源模型追赶的并非静止目标，至少年内趋势不会明显变化（SOURCE）。赵晨阳则观察到智能前沿的加速度并未降低，模型能力”以天为单位迭代”，但除 Coding 外尚未看到下一个明确爆发点（SOURCE）。
对”下一代模型标志是持续学习”的说法，二人分别指出：持续学习不只是提高智力，还包括面对新系统迅速适应（例如 kernel Agent 面对新一代 GPU 编程 DSL 仍需额外训练），当前模型泛化能力仍有限，距离真正的 RSI 尚有一段距离；且业界目前缺少衡量持续学习能力的方法与评测（SOURCE）。曾致远猜测模型能力仍会出现平台期，近期更多是在现有技术平台上继续提高——“但即使只提高了一点，普通用户感受到的产品体验也可能已经很不同了”（QUOTE）。
11. 结论
把访谈信息压缩成三条主线（EDITORIAL）：其一，K3 证明线性注意力与全局注意力的混合架构可以扩展到接近 3T 的前沿规模，Attention 已成为可自由组合的接口而非固定范式；其二，从 MOPD 九专家蒸馏到 Kernel Development Agent，“先分后合”与”可验证领域的自我改进”正在成为后训练与基础设施的新常态；其三，开放权重开放的是”这一代的智能”，真正的护城河是产生下一代权重的流水线——强化学习环境、验证体系、数据飞轮与算力。对工程师而言，K3 的 SGLang 适配经验（recurrent state 前缀复用、投机采样回退、FlashKDA）与 AgentENV 的隔离设计，是可直接借鉴的系统工程样本。
12. 来源与说明
- 唯一来源：晚点LatePost《详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？丨晚点播客》，2026-08-05，https://mp.weixin.qq.com/s/KydWDORAkByannmR9jt5ZQ。
- 本报告为基于来源的研究笔记：事实与数字归属原文（
SOURCE），短引用注明说话人（QUOTE），结构、类比与推断标记为EDITORIAL；不替代原文，建议结合原文阅读。 - 原文提及的 K3 技术报告、SGLang 技术博客、Kimi Linear 论文、K1.5 论文等为原文转述，本报告未另行核验。
- 抓取日期：2026-08-06；原文图片未转载。