文章总结： Google推出Agent异常检测系统，作为基于推理的监督审计层，可检测工具误用、执行循环与越界行为等风险。系统覆盖OWASPAgenticTop10中的四类核心风险，采用多层分析机制平衡检测效能，支持用户自定义异常判定标准，并提供告警处置建议。
综合评分： 85
文章分类： AI安全,安全工具,安全运营
Google推出Agent异常检测系统，可检测工具误用、执行循环与越界行为
FreeBuf
2026年9月18日 18:00
上海
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
Google推出的Agent异常检测系统，是一套基于推理的监督审计层，面向部署在Gemini Enterprise Agent平台Agent Runtime上、基于Python 1.2及以上版本Agent开发套件（ADK）构建的自主Agent。Google建议用户使用ADK 2.1.0及以上版本，目前该系统已开放私有预览。
Part01
Agent异常检测覆盖多类风险
Agent异常检测系统会评估Agent生成的追踪数据，判断其运行是否超出预设边界，标记行为异常、可疑意图与策略违规行为。 每一条异常告警都包含严重等级、触发原因的通俗解释，以及推荐处置方案。所有告警会与其他安全告警一同推送至Security Command Center，供安全团队分诊处置。
Agent异常检测内置检测规则，覆盖OWASP Agentic Top 10中的四类核心风险：工具误用、身份与权限滥用、Agent级联故障、失控Agent。
其中，工具误用类风险包括不安全工具链调用、参数篡改、间接提示注入等。身份与权限滥用类风险，指动态信任委托、身份伪造、记忆越权、混淆代理人漏洞等问题引发的未授权操作。
Agent级联故障类风险包括无限执行循环、重试震荡、故障扩散、反馈循环放大等。失控Agent检测主要识别三类行为：Agent放弃既定角色、绕过安全护栏，或是偏离系统指令运行。 该系统还可检测资源耗尽、token用量飙升等运行类风险。
Google高级软件工程师Achuth Narayan Rajagopal表示：“我们正在积极开发相关功能，支持用户结合自身业务场景定义异常判定标准。用户可以用自然语言编写灵活的异常检测规则，搭配确定性规则，标记Agent违反企业特定业务准则的行为。此外，用户还可以用历史流量数据验证自定义业务逻辑的检测准确率。”
Part02
启用系统需满足多项前提
用户可通过一键开通功能启用Agent异常检测，但需满足多项前提条件：日志与可观测性存储桶必须位于美国多区域；用户需通过ADK启用OpenTelemetry追踪与日志功能，原始遥测数据必须完整捕获提示词输入与响应输出，且不得显式将enable_tracing参数设为false。
区域扫描服务账号必须拥有日志与可观测性存储桶的充足读取权限，日志桶还需同时启用Log Analytics与Observability Analytics功能。Agent必须保持活跃的遥测数据流，系统才能验证其配置并将其纳入监控范围。
系统自动发现的Agent会列入受监控列表。在用户显式启用监控前，系统不会分析这些Agent的日志与追踪数据，也不会产生任何费用。不符合前提要求的Agent不会被系统识别。
Part03
多层分析平衡检测效能
为平衡检测速度、成本与覆盖范围，系统会分层分析追踪数据与日志。第一层为轻量扫描，对全流量进行统计异常检测，标记出异常会话；第二层为基于LLM的推理层，对标记出的会话开展深度分析。
例如，某Inventory Agent配置了list_inventory工具，用户要求每次查看100条商品数据，Agent便通过传入不同偏移量反复调用该工具，试图拉取完整商品目录。
这种情况下Agent可能不会报错，也没有出现明确的策略违规，但行为模式仍属于异常使用。第一层检测会根据调用量与重复率，将该会话识别为统计离群点；第二层会分析完整交互过程，识别出这种大批量、跳偏移量的模式属于系统性爬取，并返回判定结果与通俗解释。如果案例需要进一步核查，系统会启动第三层调用级分析，针对对话追踪记录中的单次工具执行过程、执行状态、参数历史逐一展开分析。
在上述示例中，系统会生成严重等级为“严重”、置信度95%的资源耗尽告警。告警包含完整判定依据与推荐处置方案，例如对该用户限速或封禁list_inventory工具、通过授权校验限制批量库存访问、针对大偏移量分页模式配置告警等。
检测过程在实时执行路径外异步运行，不会增加被分析请求的延迟。应用可通过API获取异常告警结果，也可通过ADK回调或插件，将告警的严重等级、置信度与预设阈值比对，一旦超过阈值即可阻断后续工具调用，或中止Agent的后续对话轮次。
参考来源：
Google’s new agent security system detects tool misuse, loops and rogue behavior
https://www.helpnetsecurity.com/2026/09/17/google-agent-anomaly-detection-audit-layer/
#
推荐阅读
#
电报讨论
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：FreeBuf 《Google推出Agent异常检测系统，可检测工具误用、执行循环与越界行为》