深链DEEPCHAIN · TRENDS采集中 · 下一批 05:51:41EN

AI  /  动态  /  Google 开发者

Google 测试 Agent 异常检测:拦住 87% 已执行的恶意指令

研究Google 开发者 官方·中文整理 11-13·约 640 字,读完 2 分钟

一句话

Google 用五个非自研的公开基准测出,Agent Anomaly Detection 能拦住大部分被执行的恶意指令,但对记忆投毒几乎失效。

要点

  1. 拦截率

    在恶意指令被 agent 执行的会话里,Agent Anomaly Detection 标记了 87%;不同基准间从 81% 到 99% 不等。

  2. 误报率

    正常办公场景误报率 2% 到 4%;若 agent 日常要用高风险工具,误报率升到 16%。

  3. 明显短板

    对写入 agent 长期记忆的投毒指令,18 个会话里只抓到 4 个;新建 agent 积累几百次会话前覆盖率也偏低。

登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?