文章总结： 腾讯集团针对大模型安全问题提出全面解决方案，涵盖法规、风险评估及防护技术。文章分析了大模型在开发、部署和应用阶段面临的安全风险，包括提示词泄露、数据泄露、越狱攻击等，并介绍了腾讯云鼎实验室的安全评估框架和LLM-WAF、AI-SPM等核心技术。随着2025年近200家已备案大模型企业须参加国家攻防演练，大模型安全相关法规和标准正逐步完善，企业需持续提升安全能力。
综合评分： 87
文章分类： AI安全,安全建设,解决方案,数据安全,网络安全
大模型时代下的安全挑战及应对
原创
AISAIL
安全进化论
2025年7月22日 11:00
广东
概述：
腾讯集团针对大模型安全问题，提出全面的安全解决方案，涵盖法规、风险评估及防护技术，确保大模型在开发、部署和应用中的安全性。
主要内容：
- 大模型安全现状与挑战
- 大模型融入企业核心应用
大模型（LLM）已成为企业创新发展的新动力，广泛应用于聊天机器人、AI代理等智能化场景。然而，其安全问题也日益凸显，包括供应链安全、本体安全及基础设施安全。
- 2025年全球首款通用型AI Agent产品Manus案例
Manus作为全球首款通用型AI Agent，在科技圈引发热潮，但仅上线数天后便被曝出多Agent核心提示词泄露、工具链调用逻辑与沙箱内部代码泄露等问题，暴露了大模型在实际应用中的安全隐患。
- 全生命周期安全风险框架
大模型的生命周期包括开发、部署和应用阶段，每个阶段均存在特定的安全风险：
-
开发阶段：开发环境漏洞、第三方依赖漏洞、恶意数据注入（投毒）、Token化算法缺陷等。
-
部署阶段：操作系统漏洞、容器逃逸漏洞、API攻击、提示词攻击等。
-
应用阶段：用户隐私数据泄露、敏感信息泄漏、合规风险等。
- 大模型安全风险评估
-
开发阶段的安全评估
-
常用大模型框架/组件评估
Open WebUI CVE-2024-6707漏洞：通过上传包含路径遍历字符的文件名，攻击者可将恶意文件上传至任意目录，进而执行任意代码或远程命令。
- 版本控制工具漏洞
GitLab CVE-2024-45409漏洞：攻击者可通过修改DigestValue绕过签名检查，以任意用户身份登录代码管理系统。
部署阶段的安全评估
- 提示词泄露攻击
攻击者通过诱导模型泄露提示词，获取企业的知识产权和商业机密。例如，混元大模型的提示词泄露案例中，攻击者成功获取了模型描述、应用场景及训练数据等敏感信息。
- 数据泄露攻击
特殊字符组合可触发大模型的记忆提取机制，导致训练数据泄露。腾讯安全团队发现此类攻击对数据安全构成重大威胁。
- 越狱攻击
通过“假装”角色或场景，攻击者可绕过大模型的内容审查功能。例如，“奶奶漏洞”案例中，攻击者通过扮演祖母角色，诱导模型输出Windows 11专业版序列号。
- 毒性生成与幻觉
攻击者可引导模型生成恶意代码、虚假新闻或误导性信息。例如，医疗误导案例中，模型错误声称长期服用布洛芬会导致白血病发病率增加37%。
- 模型后门攻击
攻击者通过修改神经元数据植入后门，当触发条件满足时，模型输出恶意目标。例如，“家庭清洁实验”案例中，模型建议混合漂白剂与氨水，可能引发剧毒气体泄漏。
- 腾讯大模型安全解决方案
- 腾讯云鼎实验室安全评估框架
基于OWASP LLM风险Top 10和NVIDIA AI红队评估框架，提供全面的安全评估服务，覆盖模型生命周期各阶段。
-
安全防护方案
-
模型训练阶段
防止训练数据泄露、代码泄露及模型架构泄露，保障基础设施安全。
- 推理部署阶段
提供安全隔离专区，防止敏感数据外传或删除，同时监控主机操作，防范未授权访问和横向移动风险。
- 业务应用阶段
针对提示注入、数据投毒等风险，提供内容安全过滤和DDoS攻击防护。
-
核心技术与平台
-
LLM-WAF（大模型智能安全防护网关）
专为大语言模型设计，支持实时检测并拦截算力滥用、提示词攻击及数据泄露风险，助力企业构建可信、稳定的大模型服务生态。
- AI-SPM（人工智能安全态势管理）
提供资产测绘、组件识别、漏洞检测及网络攻击示警功能，保护大模型基础设施运行环境，及时发现和处置安全风险。
- 大模型安全未来展望
- 法规与标准逐步完善
2024年腾讯参加AI大模型专项实网演练（唯二未失分）及沙盘推演（胜方并荣获最佳辩手），2025年近200家已备案大模型企业均须参加国家攻防演练，表明大模型安全相关法规和标准正逐步完善。
- 持续提升安全能力
腾讯将持续优化大模型安全解决方案，结合机器学习、密码学技术和图计算分析，全面提升大模型的安全性和可靠性。
来源：以上内容详细阐述了腾讯在大模型安全领域的研究与实践，为企业应对大模型安全挑战提供了全面的参考方案。
FreeBuf 帮会简介
「智盾矩阵·大模型安全智库」帮会是FreeBuf知识大陆的重量级帮会，目前已入选FreeBuf钻石星选帮会——官方认证高信誉与高质量，帮会聚焦人工智能与大模型安全领域，致力于打造全球视野下的专业资源聚合平台。截止目前帮会已累计更新1600+文档资源，为从业者提供从理论到实践的全维度知识支持。
1、内容框架（持续更新中）
2、内容涵盖
①系统梳理国内外人工智能安全政策法规、行业技术标准、伦理治理框架
②深度整合大模型安全领域的前沿研究报告、技术白皮书、前沿技术论文、行业峰会资料、典型场景解决方案及实务操作指南等
③覆盖伦理与合规安全、模型安全、内容安全、数据隐私、算法合规、AI应用与集成安全、基础设施安全、对抗攻击防御、可解释性研究等多个细分方向
3、加入永久帮会的专属资源
①定期抽奖赠送安全类书籍
②1次职业规划指导
③1次简历修改机会
④安全岗位内推机会
⑤无限制浏览下载帮会资源
4、帮会网盘
帮会优质资源稳定更新，目前日更10+，年更至少1000+，截止目前帮会已累计更新1600+文档资源，网盘文件多维度分类，方便查找
部分帮会资源展示：
①国外政策文件
②国内政策文件
③国家标准、行业标准、团体标准
④行业技术报告
⑤行业技术白皮书
⑥行业技术论文
⑦实务手册指南
⑧行业大会材料
5、如何加入
现在帮会权益升级，原年卡会员119元，现永久会员139元，年卡会员89元（随着资源增加、成员增多，后续永久会员价格将上调至199元），有意向的师傅们可以扫码加入我们，共同进步。
*加入方式：网页端和APP端*
网页端：
https://wiki.freebuf.com/societyDetail?society_id=344
APP端：
点分享
点收藏
点在看
点点赞
免责声明：以上报告均系通过公开、合法渠道获得，版权归原撰写/发布机构所有，如涉侵权， 请联系及时删除；内容为推荐阅读仅供参考学习，如对内容存疑请与原撰写/发布机构联系。
戳底部“阅读原文”或进入公众号聊天页获取交流群二维码扫码加入获取文档，打广告者勿扰。
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：安全进化论 AISAIL《大模型时代下的安全挑战及应对》