文章总结： 文章指出AI攻击是传统系统资源利用和云资源利用攻击的延续，攻击者正利用AI助手、代理和MCP生态系统进行攻击，包括即时工具滥用、工具劫持、内存检索中毒等手法，并提出了最小权限、强化提示、验证工具输入输出、增加保障措施、观察侦察、培训人员等应对建议，强调应像对待特权用户一样对待AI代理。
综合评分： 85
文章分类： AI安全,红队,安全建设,安全运营
依靠人工智能生存：攻击者策略的下一个演进阶段
原创
何威风
何威风
河南等级保护测评
2026年10月3日 00:00
河南
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
依靠人工智能生活并非假设，而是我们一直以来都在防范的犯罪手段的自然延续，现在这些手段被应用到了助手、代理人和MCP上。
多年来，防御者一直在与“利用系统资源”的攻击作斗争——攻击者利用已被入侵系统上已有的工具（例如PowerShell、WMI 等）进行攻击。随后出现了“利用云资源”的攻击，威胁行为者隐藏在无处不在的云服务背后，进行恶意软件传播和数据窃取。现在，我们正进入下一个阶段：利用人工智能进行攻击。
为了保持竞争力，各组织机构正在迅速采用人工智能助手、代理以及新兴的模型上下文协议 (MCP) 生态系统。攻击者也注意到了这一点。让我们来看看不同的 MCP 和人工智能代理是如何成为攻击目标的，以及在实践中，企业人工智能是如何成为攻击者攻击目标的。（MCP是一个开源框架，用于逻辑逻辑模型 (LLM) 和人工智能代理安全地连接到外部系统。）
从“越狱”到零知识威胁行为者
模型行为不仅受代码影响，还会受到上下文的影响。我曾在之前的文章中写到，可以使用“沉浸式世界”技术来说服模型生成恶意软件是有益的。最终，我们成功开发出了一个针对 Chrome 浏览器的窃取密码的恶意软件——这证明攻击的门槛已经大大降低。我们称之为“零知识威胁者时代” 。只要拥有人工智能工具，即使是只有极少专业知识的人也能构建出可信的攻击能力。
这种民主化改变了风险评估方式。当同一套人工智能技术栈既能提升员工的工作效率，又能掌控代码执行、文件系统访问、内部知识库搜索、工单处理或支付等功能时，任何控制上的疏忽都会对业务造成切实的影响。
“依靠人工智能生活”究竟是什么样子？
与突袭式恶意软件不同，这些攻击活动会利用您已获授权的 AI 工作流程、身份和连接器。
即时工具滥用：带有隐藏指令的文档或网页会导致代理调用连接的工具，查询您的内部RAG索引以获取密钥、安排任务或将片段泄露到外部 URL，而不会触发传统的EDR。
MCP 和代理“工具劫持”：权限设置不当的工具允许代理读取超出其所需的数据（广泛的文件系统挂载、全租户搜索、不受限制的 Web 获取）。攻击者诱导代理以设计者未预料的方式串联使用工具。
内存和检索中毒：如果代理从先前的聊天或共享的向量存储中学习，攻击者可以植入恶意“事实”，从而改变未来的行为——改变决策、抑制警告或插入用于数据泄露的看似例行的端点。
云端伪装，AI版：与依赖云端一样，攻击者利用流行的SaaS平台路由通信。如今，AI本身扮演着调度者的角色，在协作频道发布信息、更新工单或同步包含敏感数据的“摘要”。
滥用Vibe 编码：人工智能驱动的 Web 开发平台（如Lovable）以及在较小程度上通过Base44、Netlify 和Vercel中的漏洞，正日益被网络犯罪分子滥用，以设计、托管和发布具有说服力的网络钓鱼网站。
为什么这种情况现在正在加速发展
采用速度超过了强化速度：业务压力导致代理在权限、防护措施和可观测性成熟之前就被部署。
工具接口数量激增：MCP 和代理框架使得添加连接器变得容易；每个新工具都是一个新的信任边界。
社会工程规模化：自然语言界面使得在用户或代理能够阅读的地方植入指令变得轻而易举。
如何应对（切实可行的基本方案）
将代理视为拥有自动化特权的特权用户。然后，对代理应用与高风险服务帐户相同的零信任严格原则。
1. 尽量缩小和隔离工具范围
将每个工具的权限限制在所需的最低权限；默认情况下优先选择只读权限。
在工具级别强制执行网络出口（域、协议）的显式允许列表。
将高风险工具（文件写入、外部 HTTP、代码执行）放在额外的策略提示和人工批准之后。
2. 强化提示、上下文和检索
版本控制和保护系统提示；阻止运行时修改，除非通过变更控制。
对检索到的内容进行消毒（去除或屏蔽系统级指令）并标注来源。
按团队和敏感度对向量存储进行分区；避免全局“搜索所有内容”的默认设置。
3. 验证并约束工具的输入/输出
使用严格的模式和服务器端验证；拒绝超出限制（路径、大小、目标）的请求。
在模型公开之前对密钥进行脱敏处理；切勿将原始凭证传递到LLM上下文中。
4. 在示范政策之外，增加真正的保障措施
模型之外的策略执行：速率限制、数据防泄漏、出口控制以及对下载/可执行文件的签名检查。
对于不可逆操作（付款、批量数据导出、权限变更），需要更高层级的批准。
5. 像对手一样观察和侦察
集中管理代理日志：提示、工具调用、参数、目标和数据量。
创建检测异常工具链、非工作时间批量检索、首次访问敏感存储以及向未经批准的域发出出站调用的功能。
在每次代理更新时，重放“红队”提示（包括沉浸式世界场景）作为回归测试。
6. 对参与循环的人员进行培训
培训用户识别文档、工单和网页搜索结果中的提示注入和可疑数据源。
简化举报和隔离可疑代理人行为的流程。
好的样子是什么样的？
成功的团队会让AI安全变得枯燥乏味：智能体拥有清晰的权限范围；高风险操作需要明确授权；每次工具调用都可观察；检测机制能够快速捕捉异常行为。在这样的世界里，攻击者当然仍然可以尝试利用你的AI，但他们最终会发现自己被限制在安全范围内，受到日志记录、速率限制，并最终被彻底阻止。
干净的外卖
依赖人工智能并非假设，而是我们一直以来都在防范的攻击手段的自然延伸，如今这些攻击手段被映射到了助手、代理和移动控制平台（MCP）上。模型行为很容易被操控（甚至可以生成真正的Chrome凭证窃取程序），而当今的代理生态系统也容易成为攻击目标。解决之道并非放慢人工智能的普及或发展速度，而是使其更加专业化。简而言之，要像对待拥有敏感权限的生产软件一样对待人工智能。设计时要遵循最小权限原则，通过基础设施来强制执行，并通过对抗性测试持续验证。如果我们能做到这一点，人工智能就不会成为负担，而是成为持久的优势。
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：河南等级保护测评 何威风
何威风《依靠人工智能生存：攻击者策略的下一个演进阶段》