文章总结: 本文介绍了OWASPTOP10LLM2025中的大模型十大安全威胁,包括提示词注入、敏感信息泄露、供应链风险、模型数据投毒、不当输出处理、过度代理、系统提示泄露、向量与嵌入漏洞、信息误导和无限资源消耗。文章详细分析了每种风险的发生场景和潜在影响,并提供了相应的防护策略,如输入输出过滤、最小权限访问、数据清洗、组件漏洞扫描等,为大模型应用安全建设提供了实用指导。
综合评分: 91
文章分类: AI安全,安全建设,漏洞分析,威胁情报,安全培训
大模型十大安全威胁(OWASP TOP 10 LLM – 2025)
安小圈
2025年12月5日 08:46
上海
以下文章来源于模安局
,作者管铭
模安局
.
大模型|AI|Agent安全资讯分享、框架和行业标准深度解读。
安小圈
第807期
本文从大模型应用风险谱图出发,按照大模型应用数据流的顺序梳理OWASP Top 10 LLM 2025中提到的十大安全威胁。
▎无限资源消耗(LLM10 Unbounded Consumption)
攻击者发送大量无用请求,恶意占用大模型服务资源,或者发送大量超过模型上下文窗口限制的请求,导致服务降级或不可用(输入泛滥与溢出)。这类风险一般发生在服务接口层。
甚至有些攻击者发送精心设计的复杂prompt,这些prompt会让后端模型计算时占用大量系统资源,导致服务超时或不可用(资源密集型查询)。这类风险一般发生在模型层,属于模型原生风险漏洞。
攻击者通过频繁操作调用基于云提供AI的服务(按量收费),导致服务提供者账单爆炸(钱包拒绝服务)。这类风险一般发生在模型部署层。
攻击者通过构造海量请求prompt套取模型回复形成答案对,从而倒推模型参数(模型窃取/模型复制)。这类风险一般发生在接口服务层。
▎信息误导(LLM09 Misinformation)
大模型的幻觉问题,包括生成事实性错误(传递信息有误)、无中生有(LLM虚构假的法律安检)、专业能力错误(医疗、金融领域)。
大模型有时候还建议使用不安全的代码或者第三方库,容易引发漏洞。
这类风险往往发生在用户和模型系统的交界面。
▎提示词注入(LLM01 Prompt Injection)
攻击者通过在prompt中植入复杂指令,诱导模型服务生成违反安全规范的内容,或启用未经授权的访问。
提示词注入的类型有很多,常见的有代码注入、对抗性后缀、多语言混淆攻击等等。
这类风险一般都发生在大模型服务的接口层。
▎过度代理(LLM06 Excessive Agency)
大模型服务功能过多、或者权限过高,例如大模型服务除了有读取文档知识库的权限,还有删除、修改的权限,这可能会导致文档内容失控的风险。
另外,大模型或者Agent自主性过强,无需人工干预即可自动对敏感内容文档进行增删改查操作,有很大的潜在风险。
这类风险往往存在于Agent代理层,或者大模型服务调用的各种插件中。
▎向量与嵌入漏洞(LLM08 Vector & Embedding Weakness)
知识库中含有敏感信息,或者鉴权机制设计不足导致敏感信息泄露(数据泄漏)。
知识库中被有意或者无意投毒,导致模型输出泄露敏感信息或者输出被恶意操控(知识库数据投毒)。
多租户共用相同数据库时,攻击者可以通过上下文获取其他用户聊天信息(跨上下文信息泄露)。
▎敏感信息泄露(LLM02 Sensitive Info Disclosure)
敏感信息包括个人隐私信息(PII)、商业隐私信息和模型自身的隐私信息。
这类风险可能发生在用户和模型交互的过程中,也可能发生在训练阶段,算法工程师将未经过滤的敏感信息放入训练数据(预训练/微调数据)。
▎系统提示泄漏(LLM07 System Prompt Leakage)
系统提示信息包括敏感功能(数据库类型)、内部规则(业务规则限制)、过滤条件(安审风控)、权限与角色结构。
▎不当输出处理(LLM05 Improper Output Handing)
攻击者在未使用参数化查询的情况下执行LLM生成的SQL查询,导致SQL注入。
攻击者使用LLM输出构造文件路径,未进行适当清理时可能导致路径遍历漏洞。
攻击者将LLM生成的内容用于电子邮件模板,未进行适当转义时可能导致钓鱼攻击。
攻击者利用LLM的输出直接输入系统命令执行,导致远程代码执行。
攻击者利用LLM生成JavaScript或Markdown代码并返回给用户,代码被浏览器解释后引发X*SS攻击。*
▎模型数据投毒(LLM04 Model Data Poisoning)
模型的训练数据很多来自外部未经验证的数据源,这些数据里可能还有坏数据。
攻击者可能会在训练数据中刻意埋入毒性数据,导致模型训练结果不可控。
这类风险一般发生在训练阶段。
▎供应链风险(LLM03 Supply Chain)
这类风险包括第三方组件的传统漏洞风险,使用的基座模型安全性弱,设备端硬件漏洞等。
还包括开源模型和组件的许可风险,隐私条款等。
▎几点体会
以上Top10安全风险,有些是模型(系统)自身安全,例如幻觉导致的信息误导。
有些是攻击者有意攻击触发,例如无限资源消耗、提示词注入、不当输出处理、模型数据投毒、系统提示泄漏。
有些是外界流程或者功能插件的引入导致的新风险,例如敏感信息泄漏、向量与嵌入漏洞、过度代理、供应链风险。
不同风险之间可能相互交叠,例如提示词注入/模型数据投毒引发的敏感信息泄露。
这也导致了有些防护策略是可以同时防护多种风险的,例如针对输入、输出内容的风险过滤,可以防护提示词注入攻击,同时防止敏感信息泄露。
另外,同一类风险可能存在整个大模型应用的多个环节,例如敏感信息泄露可能发生在训练环节,也可能发生在用户和大模型服务的交互环节。这就要求防护方案也要具备一定的全面性。
诚如《浅谈大模型安全》中所说,大模型安全很难有一个客观统一的框架和规范。
OWASP也是根据业界普遍关注的安全问题,“票选”了呼声最高的10个。
▎关于OWASP
OWASP(Open Web Application Security Project)是一个非营利组织,致力于提高Web应用程序的安全性。
OWASP每年发布一份安全报告(OWASP TOP 10),列出十大常见的Web应用安全漏洞。这份报告是全球公认的标准,帮助开发者和安全专家识别和预防最常见的安全漏洞。
2023年开始,OWASP针对大模型应用领域发布TOP 10安全威胁榜单,旨在突出 并解决 AI 应用特有的安全问题。
▎OWASP Top 10 LLM-2025安全风险与防护策略清单
| | | |
| — | — | — |
| 风险类型 | 风险场景 | 防护策略 |
| 提示词注入 | * 直接提示词注入 * 间接提示词注入 * 非故意注入 * 有意模型影响 * 代码注入 * 负载分割 * 多模态注入 * 对抗性后缀 * 多语言/混淆攻击 | * 约束模型行为 * 定义格式 * 输入输出过滤 * 最小权限访问 * 人工审批高危动作 * 隔离外部内容 * 红蓝对抗 |
| 敏感信息泄露 | * 个人信息泄露 * 专有算法暴露 * 商业机密数据泄漏 | * 数据清洗 * 访问控制 |
| 供应链 | * 传统第三方组件漏洞 * 许可风险 * 过时或已弃用模型 * 脆弱的预训练模型 * 弱模型溯源 * 弱LoRA适配器 * 利用协作开发流程 * 设备端LLM供应链风险 * 模糊的条款与数据隐私政策 | * 组件漏洞扫描 * 许可证审计 * 使用可验证来源模型 * 对供应模型和数据进行安全测评 * 加密端侧模型 |
| 数据与模型投毒 | * 训练引入有害数据 * 训练恶意内容 * 无意注入敏感或专有信息 * 未验证的数据 * 资源访问限制不足 | * 验证数据合法性 * 数据集版本控制 * 监测训练损失 * 红蓝对抗 * RAG增强 |
| 不当输出处理 | * 远*程代码执行 * X*SS攻击 * S*QL注入 * 路*径遍历漏洞 * 钓鱼攻击 | * 模型响应验证 * 模型输出编码 * 内容安全策略 * 日志和监控 |
| 过度授权 | * 功能过多 * 权限过高 * 自主性过强 | * 最小化扩展 * 要求用户审批 * 完全中介 * 清理输入输出 |
| 系统提示泄露 | * 敏感功能暴露 * 内部规则暴露 * 过滤条件暴露 * 权限与角色结构暴露 | * 敏感数据分离 * 严格行为控制 * 外挂防护措施 * 关键安全控制 |
| 向量与嵌入漏洞 | * 未授权访问与数据泄漏 * 跨上下文信息泄露与联邦知识冲突 * 嵌入反演攻击 * 数据投毒攻击 * 行为改变 | * 权限与访问控制 * 数据来源质量验证 * 数据分类审查 * 监控日志记录 |
| 信息误导 | * 事实性误导 * 无依据的主张 * 专业能力的错误呈现 * 不安全的代码生成 | * 增强检索生成 * 模型微调 * 交叉验证 * AI标识提醒 * 培训用户 |
| 无限资源消耗 | * 可变长度输入泛滥 * 钱包拒绝服务 * 持续输入溢出 * 资源密集型查询 * API模型提取 * 功能模型复制 * 侧信道攻击 | * 输入验证 * 速率限制 * 访问控制 * AI水印 * 超时与节流 |
END
【内容来源:模安局】
- # 沈传宁:落实《网络数据安全管理条例》,提升全员数据安全意识
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:安小圈 《大模型十大安全威胁(OWASP TOP 10 LLM – 2025)》