文章总结： 本文系统分析了大模型及多智能体系统面临的安全风险，提出了分层威胁分析框架，详细探讨了针对LLM核心、非大脑模块及外部交互的各类攻击，特别关注了模型上下文协议(MCP)的安全挑战。文章最后总结了关键防护原则和措施，为构建稳健可信赖的AI系统提供指导，强调了多层次安全防护和持续监控的重要性。
综合评分： 87
文章分类： AI安全,漏洞分析,威胁情报,安全建设,解决方案
⼤模型及多智能体系统安全⻛险分析和洞察
安全进化论
2025年5月29日 14:57
广东
摘要
随着⼈⼯智能（AI）技术的⻜速发展，以⼤型语⾔模型（LLMs）为核⼼的智能体（AI Agents）和多智能体系统(Multi-Agents System)正⽇益深⼊到各个应⽤领域，从简单的对话助⼿到复杂的⾃主决策系统。与此同时，作为连接 AI 模型与外部世界（包括⼯具、数据源和其他智能体）的关键桥梁，模型上下⽂协议（MCP）的出现进⼀步拓展了 AI 智能体的能⼒边界。然⽽，这种能⼒和集成度的提升也带来了前所未有的安全挑战。本⽂将针对⽬前披露的针对⼤模型、 MCP 和 AI 智能体的各类安全攻击⽅法，简要分析和总结，深⼊剖析原理、关联性和影响，⼒求提供⼀个当前时点较为全⾯的威胁分析视图，并结合最新的研究进展，为当前的防御策略提供洞察。
第一章：背景：信息的表达和升维
AI智能体的智能⾏为 (intelligent behaviors)是其感知 (Perception)、记忆 (Memory)、规划 (Planning)、⽬标 (Goal)、意图 (Intent)和⾏动 (Action)等核⼼认知模块协同作⽤的体现。这些模块共同构建了智能体理解、决策和与环境互动的基础，使得 AI 智能体能够从简单的指令遵循者进化为能够⾃主解决复杂问题的实体。在 AI 智能体系统中，信息的处理并⾮简单的存储和传递，⽽是经历⼀个从低维度原始输⼊到⾼维度抽象知识的“升维”过程，这个过程对于智能体理解复杂世界和实现⾼级智能⾄关重要。
具体到一个Agent系统而言，典型的Agent系统通过类似下图的方式与模型交互，并且形成从感知->推理->规划->决策->行动->反馈的思维和行为闭环。后文的多Agent和大模型复杂系统的安全分析，同样适用于单一Agent系统。
第二章：多智能体 AI 应⽤环境安全威胁总览与分析框架
多智能体 AI 应⽤环境的复杂性，涉及⽤户交互、Agent 内部模块协作、Agent 间通信以及与外部服务的集成。本章旨在基于《多 Agent 系统智能应⽤环境的主要⻛险点》概念图，系统性地展示⼀个分层、关联的多智能体系统安全威胁分析框架，对这些关键交互点和模块中存在的安全威胁进⾏概览和分类，并深⼊分析⻛险的传导路径，为后续章节的详细分析提供统⼀的视图。
第三章：针对 AI ⼤脑（LLM 核⼼）的内⽣安全威胁
AI 智能体的核⼼决策组件——⼤型语⾔模型（LLM）本⾝是各种安全威胁的主要⽬标。这些威胁直接影响智能体的决策、推理和规划能⼒，其漏洞往往源于模型设计缺陷、对输⼊理解的偏差，甚⾄数据来源、训练过程和基础设施硬件中的安全弱点。
第四章：针对⾮⼤脑模块的智能体内⽣安全威胁
除了 LLM 核⼼本⾝，AI 智能体的外围推理模块（如感知、记忆、规划和⾏动模块）也可能存在安全漏洞，通过和复杂输⼊输出系统以及数据交互系统的连接，这些漏洞可能严重损害整个智能体的稳健性。
第五章：针对外部实体交互的威胁 (Extrinsic Safety: Interaction Risks)
AI智能体与⽇益复杂的环境进⾏交互时，安全⻛险也随之增加。本节将分析智能体与记忆系统、物理和数字环境以及其他智能体之间的交互所带来的威胁。
第六章：模型上下⽂协议（MCP）在多智能体系统中的位置、作⽤及相关攻击
模型上下⽂协议（MCP）是 Anthropic 于 2024 年 11 ⽉推出的开源协议，旨在标准化LLM 与外部⼯具、数据源和 AI 智能体之间的集成。其设计⽬标是简化集成、促进互操作性并增强 AI 系统的能⼒。在当前多智能体系统中，MCP 协议扮演着⾄关重要的桥梁⻆⾊，它将 AI 智能体的内部认知模块（如⼤脑 (Brain)、记忆 (Memory)、规划 (Planning)、⾏动 (Action)）与外部环境和服务连接起来，实现信息共享和协同作业。
第七章：⼤模型和多智能体 AI 系统防护要点
⼤模型和多智能体 AI 系统因其复杂交织的内部模块和⼴泛的外部交互，⾯临多层次、动态演变的严峻安全挑战。⾯对复杂的⽽安全形势，我们提炼并概括当前多智能体 AI 系统最重要的关键⻛险点、安全防护原则和关键措施，旨在为构建稳健、可信赖的 AI Agent 系统提供精要指导。
免责声明：以上报告均系通过公开、合法渠道获得，版权归原撰写/发布机构所有，如涉侵权， 请联系及时删除；内容为推荐阅读仅供参考学习，如对内容存疑请与原撰写/发布机构联系。
戳“阅读原文”下载35页完整报告文档。
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：安全进化论 《⼤模型及多智能体系统安全⻛险分析和洞察》