文章总结： 文章探讨了大模型安全现状与控制方法，指出技术发展快于安全建设导致风险增加。详细介绍了控制大模型的六个步骤：初始访问、资产发现、内网横向、凭据提取、输出控制和模型窃取，并通过攻防案例展示实际攻击路径。文章提供了针对每个环节的安全布控与加固指南，包括定期巡检基础设施、治理权限、增强监控能力、实施二次认证等具体防护措施，并推荐了相关AI安全工具。核心建议是从全生命周期角度构建大模型安全防护体系。
综合评分： 91
文章分类： AI安全,安全建设,威胁情报,漏洞分析,解决方案
论如何控制大模型
原创
AISAIL
安全进化论
2025年7月23日 11:00
广东
概述：
本文探讨了大模型安全现状、控制方法及防御策略，通过攻防案例分析和工具推荐，为AI安全提供实践指导。
主要内容：
- 大模型安全现状
- 激进的开发速度与落后的安全建设矛盾
当前大模型技术发展迅速，但安全建设滞后，导致潜在风险增加。例如，若大模型被恶意控制，可能引发内容安全问题甚至公共安全危机。
- 大模型被控制的危害
单个用户的越狱攻击是内容安全问题；若上亿用户同时遭受越狱攻击，则会演变为公共安全问题，影响深远。
- 如何控制大模型？
- 控制目标
控制大模型的核心在于两方面：
-
控制模型输出：确保输出内容符合预期，避免恶意劫持。
-
控制模型文件：防止模型文件被窃取或篡改。
- 控制步骤
类比“把大象装进冰箱”的步骤，控制大模型需完成以下六步：
- 初始访问：探测模型环境，获取执行权限。
- 资产发现：利用AI自动化工具进行信息收集，如探测关键系统。
- 内网横向：通过弱口令爆破等方式进入内部网络。
- 凭据提取：从关键系统（如Jenkins）中提取敏感凭据。
- 输出控制：劫持模型输出，篡改内容安全系统逻辑。
- 模型窃取：利用存储凭据窃取模型文件，造成巨大经济损失。
- 攻防案例分析
- 经典案例路径
黑客通过以下路径实现对大模型的控制：
- 初始访问：探测模型支持的工具列表、环境变量及出网能力。
示例：通过import package {payload}生成序列化Payload，绕过内生安全检测。
- 资产发现：利用AI编写探测任务，发现企业内部资产。
- 内网横向：生成弱口令爆破Jenkins并登录。
- 凭据提取：从Jenkins中提取Jira和Gitlab等系统的凭据。
- 输出控制：劫持内容安全系统，篡改模型输出。
示例：将“John is a hacker!”作为恶意回复，劫持上亿用户。
- 模型窃取：窃取存储系统中的模型文件，损失成本数以亿计。
- 安全布控与加固指南
-
初始访问防护
-
定期巡检基础设施外部暴露面，确保默认安全（Default Safe）。
-
开展人员安全意识培训，提升防范能力。
-
资产发现防护
-
梳理重点文档并治理权限，防止信息泄露。
-
投放定向蜜饵并监控异常行为。
-
内网横向防护
-
对关键系统插桩监控，增强HIDS和流量设备监控能力。
-
投放定向蜜饵，及时发现内部威胁。
-
凭据提取防护
-
排查大模型生产开发网的未授权暴露面。
-
治理代码仓库凭据泄露问题，确保API凭据安全。
-
输出控制防护
-
对重点系统的关键操作实施二次认证。
-
分离开发与操作权限，减少人为风险。
-
模型窃取防护
-
梳理模型文件流转生命周期，监控文件落地点。
-
增强模型文件加密能力，防止文件被窃取。
- AI安全工具推荐
- 开源AI安全工具
推荐使用开源工具进行安全测试与防护，具体工具列表可根据需求选择。
- 调查问卷高频问题
-
大模型安全方案：建议从基础设施、资产发现、内网横向、凭据提取、输出控制到模型窃取进行全面布控。
-
大模型红队建设：组建专业团队，定期开展攻防演练，沉淀方法论并赋能安全体系建设。
来源：关键信息基础设施安全保护联盟
FreeBuf 帮会简介
「智盾矩阵·大模型安全智库」帮会是FreeBuf知识大陆的重量级帮会，目前已入选FreeBuf钻石星选帮会——官方认证高信誉与高质量，帮会聚焦人工智能与大模型安全领域，致力于打造全球视野下的专业资源聚合平台。截止目前帮会已累计更新1600+文档资源，为从业者提供从理论到实践的全维度知识支持。
1、内容框架（持续更新中）
2、内容涵盖
①系统梳理国内外人工智能安全政策法规、行业技术标准、伦理治理框架
②深度整合大模型安全领域的前沿研究报告、技术白皮书、前沿技术论文、行业峰会资料、典型场景解决方案及实务操作指南等
③覆盖伦理与合规安全、模型安全、内容安全、数据隐私、算法合规、AI应用与集成安全、基础设施安全、对抗攻击防御、可解释性研究等多个细分方向
3、加入永久帮会的专属资源
①定期抽奖赠送安全类书籍
②1次职业规划指导
③1次简历修改机会
④安全岗位内推机会
⑤无限制浏览下载帮会资源
4、帮会网盘
帮会优质资源稳定更新，目前日更10+，年更至少1000+，截止目前帮会已累计更新1600+文档资源，网盘文件多维度分类，方便查找
部分帮会资源展示：
①国外政策文件
②国内政策文件
③国家标准、行业标准、团体标准
④行业技术报告
⑤行业技术白皮书
⑥行业技术论文
⑦实务手册指南
⑧行业大会材料
5、如何加入
现在帮会权益升级，原年卡会员119元，现永久会员119元，年卡会员79元，季卡会员29元（随着资源增加、成员增多，后续永久会员价格将上调至199元），有意向的师傅们可以扫码加入我们，共同进步。
*加入方式：网页端和APP端*
网页端：
https://wiki.freebuf.com/societyDetail?society_id=344
APP端：
点分享
点收藏
点在看
点点赞
免责声明：以上报告均系通过公开、合法渠道获得，版权归原撰写/发布机构所有，如涉侵权， 请联系及时删除；内容为推荐阅读仅供参考学习，如对内容存疑请与原撰写/发布机构联系。
戳底部“阅读原文”或进入公众号聊天页获取交流群二维码扫码加入获取文档，打广告者勿扰。
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：安全进化论 AISAIL《论如何控制大模型》