Kimi 2.7 Code：1万亿参数的模型，每秒跑1000个token

国内 AI 公司月之暗面的 Kimi 系列，一直是”长上下文”这条赛道上最激进的玩家之一。而这次，他们把目光瞄准了另一个方向——代码生成。

Kimi 2.7 Code 是一个拥有 1 万亿参数的模型，但它最惊人的数字不是参数量，而是推理速度。

1000 token/s 意味着什么#

目前主流的代码生成模型（Claude、GPT-4、DeepSeek Coder），推理速度通常在 150 到 300 tokens/ 秒之间。一个完整的、需要生成 3000 行代码的任务，最快的模型也要跑 10 秒以上。

Kimi 2.7 Code 联合了 CMU 团队创办的 LithosAI 公司，后者开发了一套高性能推理引擎，把 Kimi 2.7 Code 的推理速度推到了每秒 1000 个 token。是主流云端 API 的 3.4 到 5.7 倍。

这在代码生成场景下是一个感知很强的差异。当你等待 AI 写完一个函数时，3-5 秒的等待已经让人有点不耐烦。如果缩短到 1 秒以内，“等待”这个心理体验就完全消失了——你感觉自己在跟一个能实时回应的编程搭档合作。

Kimi 2.7 Code 跑在 8 块 NVIDIA B200 GPU 上，使用的是模型原生精度（没有量化损失）。LithosAI 强调，速度提升来自推理引擎层面的优化，不是靠降低模型质量换来的。

代码生成模型的牌局变了#

1 万亿参数的代码模型，这个规模本身就值得停下来想一想。

半年前，代码生成领域的共识还是”小模型就够了”——Code Llama 只有 70 亿参数，DeepSeek Coder 也主要是 6.7B 到 33B 规模。大家觉得写代码不需要那么大的模型，小模型更便宜、更快、更容易部署。

但 Kimi 2.7 Code 的选择说明月之暗面不这么认为。他们的逻辑是：代码生成不是一个”语法补全”问题，而是一个”理解-推理-生成”问题。你让 AI 写一个微服务架构下的 API 网关，它需要理解路由规则、认证逻辑、错误处理、限流策略——这些事情背后是系统设计能力，不是语法填充。更大的模型意味着更好的理解能力。

对编程工作者的实际意义#

对于每天都在用 AI 写代码的开发者来说，Kimi 2.7 Code 带来的变化是实实在在的：你不再需要等。

等 Claude 想完、等 GPT 输出完、等代码一段一段地出现在屏幕上。这些等待时间虽然每次只有几秒，但一天下来累积的时间成本非常可观——有人统计过，重度 AI 编程用户每天花在”等待模型输出”上的时间大约是 40 到 60 分钟。

如果推理速度翻五倍，这 40 分钟会变成 8 分钟。

更长的上下文窗口加上更快的推理速度，“AI 编程搭档”这个体验就从”发邮件等回复”变成了”面对面即时对话”。你提出一个需求，它在几百毫秒内给出方案。你觉得不满意，马上回一句”换种写法”，它立刻调整。

这种交互节奏的改变，比参数量的提升更容易被人感知。编程这件事的门槛，又被压低了一些。

来源：LithosAI | Hacker News