← 全部文章
智能体周刊2026 年第 47 期

2026-W47 周刊:怎么发现 Agent 正在做不该做的事

本周智能体生态聚焦:Agent 出事之后翻日志,痕迹几乎都在。麻烦在于事前没人知道哪一条算"出事"。可观测和异常检测这两个词被混着用太久了——前者回答"发生了什么",后者回答"这算不算不该发生",中间隔着一步最脏的活:把"正常"两个字写下来。这一步不性感,做不做得好,直接决定后面所有检测模型是能用的还是摆着看的。 有 trace 不等于有监控 现在接一套 trace 成本很低,Langfuse、LangSmith、Braintrust 随便挑,半天能跑通。跑通

YGG 智能体周刊9 分钟阅读#weekly#agent#engineering#architecture#2026

Agent 出事之后翻日志,痕迹几乎都在。麻烦在于事前没人知道哪一条算"出事"。可观测和异常检测这两个词被混着用太久了——前者回答"发生了什么",后者回答"这算不算不该发生",中间隔着一步最脏的活:把"正常"两个字写下来。这一步不性感,做不做得好,直接决定后面所有检测模型是能用的还是摆着看的。

有 trace 不等于有监控

现在接一套 trace 成本很低,Langfuse、LangSmith、Braintrust 随便挑,半天能跑通。跑通之后很多团队会松一口气,觉得监控上了。其实只完成了"看得见"。

看得见的意思是:agent 调了哪些工具、按什么顺序、参数是什么、拿到什么返回。这些是事实层。判断层是另一回事——同样是 read_file("/etc/..."),对一个运维 agent 是本职,对一个写周报的 agent 就是越界。系统不知道你的 agent 该干嘛,它只知道发生过什么。

所以我一直觉得 trace 的第一价值不是实时告警,是事后回溯。这周有篇 Backtracking Agent Applications Security Incidents 讲的就是这个:出事之后要能定位 CEP,也就是"从哪一步进来的"。前提是你的记录可回放——工具入参、返回、模型当时的上下文,缺一样就断链。这个要求比"有个 dashboard"高得多,但它是可以今天就动手的。

"不该做"有三个维度,第三个最难

我一般拆成三块看。

工具调用序列——最好做。哪些工具、什么顺序、有没有出现本来不该出现在这个 agent 身上的工具。序列里的异常模式很朴素:写操作紧跟在一次失败的读之后,或者连续重试同一个失败调用。

数据访问范围——次好做。这块本质上不是检测问题,是权限问题。有人写 怎么在不把凭证交给 coding agent 的前提下让它干活,思路是短期凭证加代理出口,agent 根本拿不到长期 key。这比事后检测它有没有滥用 key 靠谱得多。

输出与任务意图的匹配度——最难,也最容易吹。判断"这段输出是不是这个任务该有的",通常只能再上一个模型打分。而那个打分模型本身没有 ground truth,它的误报率你也没标定过。我现在对这条路的态度是:可以用来做人工巡检的排序器,不建议直接接自动阻断。

基线不是画一条阈值线

业务量波动大的时候,绝对阈值基本没意义。周一调 3000 次工具、周末 300 次,你说超过 5000 告警,那等于没告警。

换个思路,看形状不看数值。有两类量值得分开:随流量涨的(读、查、检索),和不该随流量涨的(删、支付、对外发消息、改配置)。第二类如果跟着 QPS 一起线性涨,那不是噪声,是逻辑写错了——本来该走审批的动作被批量触发了。这个判断不需要你算标准差,画两条曲线叠一起看就行。

另一类是比例。某个 agent 每天 1% 的调用是写操作,某天变成 15%,即便总量没变,这也值得看一眼。比例比绝对值稳,因为它自动消掉了流量这个变量。

基线怎么来?我的做法很土:抽一周的 trace,人工过一遍,把"这个 agent 正常会做的事"写成三五句话,附上工具白名单和路径白名单。写完你会发现,有一半的"异常检测需求"在这个阶段就消掉了——因为那些行为压根不该有权限发生。

掐断要掐在能力层

检测到之后怎么办,三个档位:告警、限流、掐断。分档标准我按可逆性来。可逆的(读多了、查重了)告警就行;半可逆的(改了配置、发了草稿)限流加人工确认;不可逆的(删数据、转账、对外发消息)默认掐断。

但掐断掐在哪一层,很多人搞错。有篇帖子叫 Your Agent Will Pick the Hackable One,讲的是 agent 会挑阻力最小的路径达成目标。你在 prompt 里写"不要用 shell",它就去装个 python 包绕过去;你把某个工具从工具列表里摘了,它会去找另一个能达成同样效果的。所以拦在 prompt 层和工具列表层,本质是建议,不是约束。真正有效的是能力层:网络出口白名单、文件系统挂载范围、凭证的作用域和有效期。

这周 ROGUE-AI 那篇 Replication of Agentic Security Events 有句话挺扎人:媒体对 agent 事故的报道——比如 Replit 那个删掉生产库的 coding agent——通常只说了"什么坏了",很少去验证事件或者找根因。连事后都没做扎实,事前建模就更远了。

但多数团队现在不该上检测模型

说点反的。

异常检测的上限由你对"正常"的描述质量决定。没有负样本、没有标注、没有"这个 agent 的职责边界"文档,你训出来的东西只是在拟合噪声,然后每天给你推一堆需要人再判断一遍的告警。那不叫自动化,叫把巡检成本换了个形式。

更划算的顺序我以为是:先把 agent 的能力边界收窄(白名单、短凭证、不可逆动作走审批),再写清楚它该做什么,然后靠人工巡检——每周抽二十分钟翻一批 trace,专挑有写操作和外部调用的看。这套东西土,但见效快,而且它会自然产出后面做检测需要的标注数据。

什么时候该上模型?两个信号。一是巡检的量已经超过人能看完的量,二是同一类错误你已经手工抓到过好几轮,规则都写腻了。到那一步再上,你有标签、有基线、也知道误报大概长什么样。

顺带说一句,哈佛那篇关于 coding agent 把瓶颈推到 code review 的研究其实在讲同一件事:agent 干得越多,人的注意力越是稀缺资源。既然是稀缺资源,就别让它去处理一堆本来靠权限就能挡掉的问题。

先想清楚你的 agent 该干什么。这句话听着像废话,但大部分事故复盘到最后,落点都在这里。

延伸阅读

编辑说明

本文由 YGG 臻星科技团队整理,聚合 ArXiv、HackerNews 与公开厂商博客,人工审稿。