Ember-1让Kimi推理任务少用Token,目前仅开放研究预览
Fireworks称Ember-1在部分评测与客户编码任务中减少推理token,但目前仅开放API研究预览。了解它如何影响多轮AI任务成本,以及企业采用前应核对哪些数据。
如果一项 AI 编码任务要来回调用模型二十多次,每一轮都可能重新读取先前的推理记录。记录越长,账单越容易被重复处理的内容推高。Fireworks AI 最近发布 Ember-1,称它在部分编码评测和客户任务中减少了推理 token;目前它还只是 API 研究预览,普通团队暂时不能下载模型自行部署。
Ember-1 以 Moonshot AI 的 Kimi K3 为基础继续训练。Fireworks 给出的思路,是让模型把重复的内部推理缩短,同时保留检查假设和根据反馈修正的步骤。公司称,直接调低 K3 的推理强度会损失任务质量,因此选择训练一个更省 token 的版本。这里的“更省”指生成和处理的 token 较少,模型每 token 的标价没有变化。
Fireworks 的评测结果并非全面领先。在 Terminal Bench 2.1 上,Ember-1 得分为 82.0%,Kimi K3 Max 为 80.9%;DeepSWE 1.1 上分别为 75.2% 和 66.4%。但在 SWE-bench Verified 上,Ember-1 得分 92.2%,低于 K3 Max 的 93.2%;在 SWE-Interact 上也稍低。这些数字来自 Fireworks 自己的测试,不能直接当成独立评测结论。
Fireworks 还披露了两家客户的生产编码任务测试。公布的一组结果中,每项任务的输出从 49.3K token 降至 29.9K,总 token 减少 39%,任务得分则为 0.753 对 0.751;平均执行步骤从 23.8 降至 21.4。公司称两家客户都看到每项任务 token 减少约 35%,其中一家已在生产使用。因为这是供应商披露的有限样本,企业应先用自己的任务复测,尤其要看质量是否稳定、任务是否具有代表性。
token 少了,账单会怎么变
多轮智能体会把前几轮的对话和推理内容带入后续调用。每一轮越长,后续调用可能反复处理的上下文越多。模型一次生成少一些 token,确实可能降低总用量;若任务失败后反复重试,或者调用次数变多,节省也可能被抵消。评估时要把整项任务作为单位,不能只看单轮 token 或单次调用价格。
评估应比较完整任务的费用与质量,而不是孤立的单次调用。
Fireworks 表示 Ember-1 的输入、缓存输入和输出单价与 Kimi K3 相同,减少费用依赖用量下降。其公布的任务例子按输出 token 价格折算,单项输出费用约从 0.74 美元降至 0.45 美元。这是基于公开价格对该组数据的计算,不代表每家企业都能获得同样的降幅,也没有覆盖所有周边调用和运营成本。
对常用代码助手、资料分析或客服流程的团队来说,值得记录的是每项任务总费用、成功率、人工返工时间和完成步骤,而不只是模型的 token 数。可挑一批已脱敏、结果可核对的真实任务,与现用模型并行比较;先限制调用预算和可访问的数据,再让业务人员盲评输出质量。若省下的调用费被额外复核、失败重跑抵消,就没有必要为了“更省 token”迁移。
现在能不能直接用
开发团队在受控环境中评估 AI 编码 API 的接入与成本 研究预览阶段,团队应先核实可用权限与自身任务的成本质量。 Ember-1 目前只能通过 Fireworks Serverless API 以研究预览形式调用。Fireworks 尚未发布权重、训练代码和确切算法,也没有公开到所有用户都能直接接入的本地部署方式。对没有模型集成能力的小企业而言,这还不是安装一个应用就能试用的功能;对已有 API 工作流的团队,是否可用、价格和服务条件应以账户内实际开放情况为准。
一项任务中模型输出的 token 变少,并不自动意味着业务成本同步下降。还要考虑输入上下文、缓存、工具调用、重试和人工检查。如果现有任务量小、成本并非主要问题,或输出常需大量返工,迁移模型未必划算。先用有限任务验证费用与质量,再决定是否扩大范围;客户资料和源代码也不要在未确认服务条款、数据处理方式前上传。
消息参考来源