文章总结： 文档探讨企业AI面临的安全挑战，指出传统工具难以应对。重点分析了AI供应链风险、模型漏洞及模型上下文协议（MCP）的安全隐患。建议实施高级AI-SPM和零信任策略，通过全链路可视化、漏洞评估与数据溯源构建防御体系，确保AI应用安全与合规。
综合评分： 90
文章分类： AI安全,安全建设,解决方案,供应链安全,数据安全
你真的了解你的 AI 吗？（企业版）
原创
c0nsen
c0nsen
开源情报技术研究院
2026年1月23日 10:29
广东
俺最近一直在做一些AI应用的课题同时也在研究AI的安全性，发现企业使用AI现在已经是常态化，但是未知风险越来越多，所以写一些建议出来。
企业采用人工智能（AI）已非未来趋势，而是当下现实。随着各组织竞相借助 AI 开展创新活动，安全团队正面临一个全新、复杂且动态的攻击面。AI 正在打破当前云安全、软件即服务（SaaS）安全和端点安全的运营隔离状态；AI 无处不在，正消耗着这些渠道中的企业数据与资产。传统安全工具是为云基础设施和 SaaS 应用程序设计的，从本质上难以应对 AI 带来的独特风险。
人工智能安全态势管理（AI – SPM）解决方案可通过保护关键 AI 资产来缓解风险，但需注意，并非所有 AI – SPM 解决方案都具备同等效力。许多解决方案仅提供基础的态势检查，且主要聚焦于基础设施和漏洞管理。此外，大多数仅关注云或 SaaS，在试图全面了解 AI 整体状况时会存在诸多盲区。
关键安全挑战催生了对高级人工智能安全态势管理的需求
基础的AI – SPM 或许能够识别 AI 模型、服务和数据，但往往仅止于此。安全团队需要更深入的洞察，因为 AI 应用程序并非单一实体，而是模型、数据集、身份、代码依赖和应用程序编程接口（API）的复杂组合。
为切实应对AI 风险，我们需从根本上理解这一生态系统，并能够解答以下问题：
使用中的模型有哪些，包括授权（受管理）和未授权（未受管理）的？
模型固有的风险是什么？
企业的AI 代理位于何处，它们如何与模型交互？
AI 利用了哪些身份？
企业的AI 编排工具和模型上下文协议（MCP）服务器位于何处？
这些模型基于哪些数据集进行训练？
能否证明数据来源以满足合规要求？
企业的 AI 供应链风险是什么，模型源自何处，使用 PyTorch 模型的风险是什么？
下面我们详细剖析安全团队当前面临的一些主要AI 风险和安全挑战：
如何保护人工智能供应链——识别并缓解 AI 中的供应链风险
AI 供应链是一个复杂的依赖网络，正成为攻击者的重点目标。供应链泄露的平均成本接近 450 万美元，组织不能忽视嵌入在 AI 模型和库中的风险。
关键供应链风险包括：
模型来源缺失：若无模型的“出生证明”——即其来源、训练数据和历史的清晰记录——安全团队无法验证其完整性，也无法确保其无恶意后门。
易受攻击的依赖：现代AI 开发依赖于第三方模型，这些模型来自 Hugging Face 等中心和开源 AI 库。每个外部组件都是攻击者的潜在切入点，单个受损库可能破坏整个组织的 AI 态势。
缓解这些风险需要将深入的AI 供应链可见性和验证融入核心安全流程。
理解并预防常见的人工智能模型漏洞
AI 模型面临独特且快速演变的漏洞，攻击者可在整个 AI 生命周期——从开发到部署和运营——加以利用。这些风险超越了传统安全风险，可能导致数据泄露、知识产权被盗和运营中断。关键 AI 模型漏洞风险包括：
直接模型漏洞：威胁行为者通过在基于 Python 的可序列化模型（如 PyTorch 和 Keras 模型）中植入可执行和恶意代码，积极利用后门机器学习（ML）模型的漏洞。
数据集和训练漏洞：模型的安全性取决于其训练数据的安全性。数据中毒攻击可微妙地破坏训练数据集，在部署的模型中产生特定的、可被利用的行为。有偏差或不合规的数据会带来重大的声誉和监管风险。
影子人工智能漏洞：“影子 AI”或未受管理的模型是开发人员和数据科学家在无安全监督的情况下使用的模型。这些模型被部署到云基础设施难以察觉的容器和工作负载中。这些未受管理的资产通常来自不可信的来源，并在无安全控制的情况下运行，形成了巨大的安全盲区。
模型上下文协议（MCP）：安全风险及如何保护企业人工智能集成
模型上下文协议（MCP）将 AI 模型直接连接到实时企业系统，构建了一个强大但高风险的集成层，传统安全手段难以察觉。 受损的 MCP 服务器堪称访问数据与 API 的关键枢纽。开发人员在几乎所有企业应用程序中添加 MCP 服务器及其功能时，缺乏有效的安全监管。
关键风险如下：
- 广泛的影响范围：作为连接不同系统的新型协议，单个受损的 MCP 服务器可能致使整个企业的运营陷入中断。
- 集中凭证风险：MCP 服务器充当访问令牌的存储库，其信息泄露将使攻击者能够对众多连接服务进行广泛的横向访问。
- 工具投毒：攻击者可在工具元数据中嵌入恶意指令，诱导 LLM 执行未经授权的操作，如数据泄露。
- 实现缺陷：编码欠佳的 MCP 服务器易遭受经典攻击，如命令注入，从而为特权提升和横向移动创造条件。
保护MCP 需要一种新型的安全机制，能够对该独特协议进行监控并执行相应策略。
数据溯源：人工智能安全中的关键缺失环节
数据溯源是可信人工智能的基础，它提供了从数据来源到使用的透明审计路径，这对于治理和合规而言至关重要。
然而，传统的溯源工具乃至第一代人工智能安全策略管理（AI – SPM）解决方案均无法满足需求。它们能够识别人工智能模型，但无法解答最关键的问题：该模型是基于哪些具体数据进行训练的？对于管理数千个模型的安全团队而言，这造成了巨大的安全与合规漏洞。
高级人工智能安全平台弥补了这一漏洞。通过关联数据来源、代码存储库和模型自身的信息，它能够自动重构数据与模型之间的关系，从而形成一条从数据来源到最终模型版本的清晰、可审计路径，为负责任且安全的人工智能应用奠定基础。
以零信任理念加速人工智能举措推进
人工智能时代要求我们转变安全思维。仅仅知晓拥有人工智能应用是不够的。一个真正先进的AI – SPM 框架必须提供整个供应链的全面可视性，主动识别并管理模型漏洞，为合规目的重建数据溯源，并在推理环节强制执行零信任控制。随着人工智能在业务架构中的融入程度不断加深，投资高级 AI – SPM 策略不仅是一种安全措施，更是推动创新与建立信任的关键因素。
组织可规划实施高级AI – SPM 策略，以实现对整个人工智能生态系统的全面可视性与保护，确保安全团队能够：
- 发现并清点部署在云环境中的人工智能模型。
- 评估人工智能特定风险，包括数据暴露、不安全的模型配置以及易受攻击的依赖项。
- 监控人工智能供应链，以识别受污染的数据集或未经授权的模型。
- 执行负责任人工智能使用和监管合规的治理策略。
- 检测人工智能工作流中可能导致敏感数据暴露的错误配置。
这些步骤有助于将零信任架构的原则应用于人工智能应用程序的使用中，使安全团队能够：
- 自信地部署人工智能应用程序：以可靠的安全保障实施人工智能。
- 保护敏感数据：防止对数据和上下文信息的未经授权访问。
- 推动安全创新：采用新的人工智能功能而不牺牲安全性。
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：开源情报技术研究院 c0nsen
c0nsen《你真的了解你的 AI 吗？（企业版）》