开源项目让AI编程成本降低98%
有个人用 Claude 参加 Kaggle 比赛,给模型喂了一份 300 组数据的训练任务。为了确认进度,Claude 每 5 秒钟对整个项目做一次全局检索。半个小时,一个高配会员账号的 API 额度烧掉了 90%。
这不是模型太笨。这是工具在用最笨的方式使用模型。
大模型用起来有多贵
随着 Claude、GPT 这类顶级模型的能力越来越强,越来越多人把它们接入到日常开发流程中。但同时大家发现了一件事:智力是昂贵的。一个包含充足 Token 额度的高级套餐,定价动辄 200 美元一个月。而模型在实际执行任务的时候,常常会反复试错、重复检索,把 Token 像纸钞一样烧掉。
更糟的是”失忆”问题。当代码量超过 IDE 的某个隐形上限(比如 Claude 的 164K),系统不得不丢弃或压缩历史信息。前一秒还在流畅写代码的 AI,下一秒把前置约束条件忘得一干二净。开发者不得不反复提醒它——每一次提醒都在消耗 Token。
context-mode 的思路
一个名叫 context-mode 的开源 MCP 插件,精准切中了这个痛点。它的核心逻辑很反直觉:既然大模型处理海量原始数据又贵又笨,那就干脆不让它直接接触原始数据。
项目创始人 Mert 打了一个比方:传统的 AI 编程就像看马拉松比赛,大模型要盯住每一个选手的每一步,当然会耗尽上下文。context-mode 的做法是把马拉松过程关进一个沙盒里,大模型只需要看最终排名结果。
具体来说,它做了三件事:
第一,虚拟沙盒机制。所有文件和运行记录存放在本地,模型不直接读取原始文件,而是通过一个轻量级的”防火墙”接口获取经过提炼的信息。测试显示,接入 context-mode 后,读取一份 79.3 KB 的文件时 Token 消耗降低了 87.7%。
第二,存档点系统。它实时监控每一次文件编辑,当对话过长时自动构建一个通常小于 2KB 的”快照”注入到模型的上下文中。官方表示,这能把大模型连续编程的有效时间从 30 分钟提升到 3 小时。
第三,Think in Code 范式。不让模型逐行阅读文件,而是先让模型写一段小程序,让程序在本地完成数据分析和处理,再把精炼后的结果反馈给模型。一个脚本可以替代十几个昂贵的工具调用,节省百倍的上下文。
1.5 万 Star 背后的焦虑
这个项目发布后登顶了 GitHub Hacker News,目前已有超过 1.5 万颗 Star,24.3 万开发者接入,完成了 15 个主流平台的适配。微软、谷歌、Meta、字节跳动和 Cursor 等公司的研发团队都在使用。
这些数字背后反映的是一个行业级的焦虑:开发者已经离不开 AI 编程助手了,但越来越多的人发现,用 AI 编程的主要矛盾已经从”能不能用”变成了”用不用得起”。Token 账单是真实且持续增长的成本,而大部分开发者并没有很好的手段来控制它。
context-mode 的解法很有意思:它不是去教模型变得更聪明——那是 Anthropic 和 OpenAI 的事。它选择改变模型和代码之间的交互方式。就像数据库刚出来的时候,没人知道怎么优化查询——后来大家学会了加索引。context-mode 做的就是给 AI 编程加上了一套”索引”。
也许,AI 编程的效率瓶颈从来不在模型本身,而在于我们一直用错了方式让它读代码。
来源:36 氪 | Hacker News
