这周 HN 上有个 Show HN 项目叫 Coral,一句话介绍是「agents write their own tools」。我第一反应不是兴奋,是「那谁 review」。工具自生成这事,动因特别土——长尾需求太碎,人排不过来。但麻烦不在生成那一刻,在生成之后:审查、回归、版本、归属。我的判断是,它能放大能力,前提是你已经有能接住生成物的流程;没有的话,它只是把散落一地的小麻烦收拢成一个大的。
Coral 这种网关出现,说明需求不是编的
内部工具的需求有个共同特征:单个价值低,写起来半小时,但排期永远排不上。数据清洗、日志对账、某个内部 API 的胶水层,都是这类。人不够,Agent 正好卡进这个缝里。
有意思的是 Coral 的定位——不是「让 agent 随便写」,而是做成一个统一网关,把生成出来的工具收进一个入口。这个设计选择本身就在承认问题:散着写等于散着烂,得有个地方收。我不知道它后面能不能扛住真实生产,但这个方向比「给 agent 一个 write_file 就完事」靠谱得多。
顺带说一句,SoK 那篇讲 LLM 在漏洞研究里的进展其实是最保守的一类「自生成」——生成的补丁本身就是工具,只不过它的对错有编译器、有测试、有 CVE 编号帮你判。
哈佛那条新闻的重点不是「Agent 会写代码」
HN 上 300 多分的那条,说 AI coding agents 把瓶颈顶到了 code review。这个结论对工具自生成更狠:连人写的、人 review 的代码都已经把 review 顶满了,那 agent 自己生成、自己调用的工具,review 环节在哪?
很多团队的实际做法是「跑通了就上」。这不是 review,这是 smoke test。区别在于 review 会问「这个分支为什么不处理空值」,smoke test 只问「它有没有崩」。
沙箱跑通和生产可用之间,隔着的全是无聊东西
ROGUE-AI 那篇讲得挺直白:媒体报 agent 事故,通常只说「什么坏了」,很少去验证根因。Replit 那个删库的例子被反复引用,但真正被复现、被定位到 compromise entry point 的没几个。
工具自生成是同一类问题。一个 agent 写的脚本,在沙箱里跑通了几条样例;到生产上遇到空字段、超时、部分失败要重试,行为是什么没人知道。这些不是能力问题,是工程问题,而且恰好是最枯燥、最不出彩的那部分。谁能把这块补上,谁的自生成才真的能用。
凭据边界是同一个坑的另一面。有人写了自己怎么在不把 key 交给 agent 的前提下跑 coding agent,思路是把权限收在外面。生成工具也一样——工具能干什么,不该由生成它的那段 prompt 决定。
版本、弃用、归属,最难的其实是「这工具是谁的」
Agent 生成的工具没有作者。三个月后它挂了,谁修?如果三个 agent 都依赖它,能不能删?删了谁会发现?
我的看法是至少三件事:生成时把 prompt 和上下文存下来,不然没人能重建;挂一个人类 owner,哪怕只是挂名,出事有个默认责任人;进 CI 跑回归。最后这条最贵也最有效。StarSling 那个「self-improving CI for agent-volume repos」大概就是往这个方向做的,仓库里 agent 提交的量级上来之后,CI 本身也得跟着变。
反过来说:大部分团队其实不需要
得说句难听的。我见过的多数团队,长尾需求的量级根本撑不起一套治理流程。二十个脚本,一个 repo,一个 README,一个人半天能维护完。你为了省这半天,引入一个会自己生成工具的 agent,然后要建审查流程、沙箱、版本管理、权限模型——治理成本大概率超过收益,而且这笔账很少有人认真算。
OpenAI 那个 Performance Factory是另一个故事:目标明确(性能指标)、验证便宜(跑个 benchmark 就知道快没快)、任务大规模重复。这种场景自生成很划算。区别不在模型多强,在于「有没有一个便宜又自动的判对错的方式」。
所以答案不是二选一。判断标准很土:你生成出来的东西,能不能在没人盯着的情况下自动验证对错。能,就让它写;不能,先别。也许半年后回头看这套说法会被更简单的做法打脸——但按我现在看,工具自生成的门槛从来不在模型能力,在你自己的测试和发布流程有多硬。