这周 HN 上又是一堆 agent 工具刷屏,qm、Sprocket、Agent-Manager,全是实时交互的东西。但我想聊的反而是另外一面:那些不需要实时的事。批处理能省多少?答案是你去看一眼定价页就会骂自己之前太蠢。不过我先把话说清楚:具体折扣各家用词不一样,数字以官网为准,我只说方向——批处理一定比实时便宜。
定价页上写着,只是你懒得看
拿 OpenAI 举例,打开定价页,批处理和实时接口的价钱并排摆着。Anthropic、Google 也都一个套路——离线接口打折,幅度还不小。我不写具体数字,因为各家会调,你写代码那天得现查。但方向是稳的:批处理就是更便宜,因为它用闲时算力,不跟你抢排队。
问题在于,大部分工程师压根不会打开那个页面。他们从第一天就在实时接口上写业务逻辑,顺手把评测、回填、日志分析也全塞进去。等到账单出来才愣了一下,哦,原来还有批处理这回事。
实时留给对话,别留给评测
Agent 的实时链路确实用不上批处理——你聊天、写代码、调工具,都得等结果,这没毛病。但评测、回填、日志分析这些活,全该走批处理。
我见过最典型的浪费:拿实时接口跑一万条评测。评测本来就是离线需求,你不需要一秒内知道准确率,你只需要“今晚跑完,明天看结果”。结果一堆人用实时接口跑,贵不说,还老撞限流,重试逻辑写上几百行。省下来那点“实时感”有什么用?你是在看报告,又不是在调对话。
日志分析同理。Agent 跑了一天,晚上把轨迹导出来,批量过一遍模型,做质量评估。这个流程按小时算太正常了。谁要是用实时接口逐条分析日志,那不是工程师坏,是流程没设计过。
反面观点:批处理“不够快”
有人会说,批处理要排队啊,万一明早要上线,评测没跑完怎么办?
我的回答是:那就提前一天跑。评测有固定的触发条件——代码改完提交、数据集更新、每周回归。这些都是可计划的,不是突发事件。如果你总是“临时”要跑一批评测,说明你连评测流程都没建立。这不是工具的问题,是项目管理的问题。
这周 Handbook.md 的论文说长政策文档管不住 agent,我读完更觉得,要管住 agent 只能靠离线评测:拿一批危险指令跑一遍,看它违反多少条。这种测试不可能用实时接口做,成本摆在那里。PostHog 那篇你能把多少事交给 agent也在聊 agent 的边界。我同意,但边界是测出来的,不是聊出来的。怎么测?批处理。
实时工具是生产过程,不是质检过程
这周 HN 上那些 agent 工具,qm、Sprocket、Agent-Manager,全都在做实时协作,很酷。但它们是“生产过程”——你坐在那跟 agent 一起干活。而质检过程——跑回归、测安全、查日志——天生就该是批量的。
所以别让“实时”变成一种虚荣。批处理不丢人。它省钱,还省你的睡眠。
标准就一条:能容忍以小时计的延迟,就走批处理。我用了这个标准两年,没踩过坑。如果你的任务可以睡一觉再看结果,就老老实实开批处理接口。省下来的钱,够你多买几顿午饭。