文章总结： 本文全面分析了中国大模型上线备案和深度合成类算法备案的政策要求与流程，探讨了开源模型发展趋势、安全挑战及应对措施。文章详细介绍了大模型备案的六个流程步骤，包括企业申请、安全自评估、地方网信办审核、公安机关检查、央办审查等环节，以及特殊行业备案的额外要求。同时，文章也阐述了深度合成类算法备案的核心材料与流程，强调了内容安全评估的关键指标，如建设不少于10000个关键词库、设计2000道以上测试题库等。文章最后介绍了FreeBuf智盾矩阵帮会资源，为从业者提供AI安全领域的专业支持。
综合评分： 85
文章分类： AI安全,政策法规,数据安全,安全建设,安全运营
大模型上线备案&算法备案全析
原创
AISAIL
安全进化论
2025年8月4日 11:00
广东
一、概述
本文探讨了大模型的发展趋势、安全挑战及备案要求，分析了开源模型的迅猛发展及其带来的合规性问题，并详细介绍了大模型上线备案和深度合成类算法备案的流程与政策要求。
二、主要内容
- 大模型发展趋势与安全挑战
-
DeepSeek对市场和技术的影响
-
市场波动：2024年1月27日，DeepSeek引发欧美科技股市值蒸发1.2万亿美元，英伟达单日暴跌16.97%，市值蒸发5926.58亿美元。
-
用户增长：DeepSeek App上线两周吸引超1亿用户，迅速登顶140个国家苹果App Store下载榜首位，并在美国Android Play Store占据榜首。
-
技术突破：通过算法创新和系统优化，大幅降低训练成本，推动AI平权，同时加速端侧AI应用落地，如推理成本从高端GPU扩展至消费级GPU。
-
开源模型发展趋势
-
智谱AI CogView4：在DPG-Bench基准测试中综合评分第一，支持中英文提示词生成文图，具备技术领先性。
-
阿里巴巴 QwQ-32B：性能比肩DeepSeek-R1，支持消费级显卡运行；Qwen2.5-VL强化多模态理解能力，Qwen2.5-Omni刷新Omni Bench测评纪录。
-
谷歌 Gemma-3：提供多规模参数版本（10B/40B/120B/270B），主打低成本高效推理。
-
阶跃星辰 Step-Video-TI2V：生成102帧、5秒、540P分辨率长视频，动画效果出色。
-
中国大模型技术的三大跨越
-
全场景能力跃迁：从单模态到全场景，如QwQ-32B登顶HuggingFace趋势榜，DeepSeek-R1覆盖全流程代码库。
-
多模态融合创新：百度文心4.5多模态能力优于ChatGPT 4o，通义千问Qwen2.5-VL支持图文交互理解。
-
端云协同突破：模型轻量化技术使百亿参数模型可部署于手机和IoT设备，联想发布全球首款AI PC。
-
通用大模型的安全挑战
-
内容风险：包括违法违规内容（暴力、色情等）、隐私泄漏、偏见歧视、虚假信息等。
- 高级攻击：如指令注入、对抗攻击、数据投毒等，威胁模型行为和输出内容。
- RAG投毒风险：外部知识库可能被恶意构造攻击，导致模型生成错误或有害内容。
-
多模态大模型的安全挑战
-
基础风险：常规内容风险+应用风险
- 组合风险：
- 高级攻击：对抗攻击、越狱攻击、提示词注入、后门攻击等
- 大模型上线备案介绍
-
备案类型与要求
-
大模型上线备案：依据《生成式人工智能服务管理暂行办法》，需提交材料至属地网信部门审核，含安全评估报告、模型服务协议等。
-
算法备案：依据《互联网信息服务算法推荐管理规定》，线上提交，审核部门为中央网信办。
- 备案流程
- 流程1：企业向属地网信办申请备案，填写信息采集表并加盖公章。
- 流程2：完成企业安全自评估，涵盖语料安全、模型安全、生成内容安全等。
- 流程3：递交地方网信办审核并接受安全测试，测试规模达几万到十几万题。
- 流程4：属地公安机关实地检查，完善网络安全管理制度。
- 流程5：递交央办审查+安全测试。
- 流程6：央办审查通过后下发备案编号，定期公告
-
特殊行业备案
-
金融类：需与市金融管理局沟通。
-
医疗类：需与市卫健委沟通。
-
教育类：需与市教委沟通。
- 深度合成类算法备案介绍
-
备案核心材料
-
算法安全自评估报告：涵盖语料安全、模型安全、生成内容安全等。
-
拟公示材料：公开算法机制机理内容。
-
备案流程
-
登录《互联网信息服务算法备案系统》申报，整体时间建议预留2-3个月。
-
审核通过后，可在系统查询备案编号并定期公告。
-
责任主体划分
-
服务提供者：直接面向用户提供服务的企业或个人。
-
技术支持者：为服务提供者提供技术支持的企业或个人。
- 总结与展望
-
政策解读
-
法律依据：依据《网络安全法》《数据安全法》《个人信息保护法》等法律法规。
-
核心要求：确保内容合法合规，防止歧视，尊重知识产权，提升内容准确性和可靠性。
-
安全评估方法
-
关键词库建设：不少于10,000个关键词，覆盖各类风险。
-
测试题库设计：生成内容测试题库≥2,000题，拒答测试题库≥500题。
-
分类模型建设：自动化检测31种安全风险。
FreeBuf 帮会简介
「智盾矩阵·大模型安全智库」帮会是FreeBuf知识大陆的重量级帮会，目前已入选FreeBuf钻石星选帮会——官方认证高信誉与高质量，帮会聚焦人工智能与大模型安全领域，致力于打造全球视野下的专业资源聚合平台。截止目前帮会已累计更新1800+文档资源，为从业者提供从理论到实践的全维度知识支持。
1、内容框架（持续更新中）
2、内容涵盖
①系统梳理国内外人工智能安全政策法规、行业技术标准、伦理治理框架
②深度整合大模型安全领域的前沿研究报告、技术白皮书、前沿技术论文、行业峰会资料、典型场景解决方案及实务操作指南等
③覆盖伦理与合规安全、模型安全、内容安全、数据隐私、算法合规、AI应用与集成安全、基础设施安全、对抗攻击防御、可解释性研究等多个细分方向
3、加入永久帮会的专属资源
①定期抽奖赠送安全类书籍
②1次职业规划指导
③1次简历修改机会
④安全岗位内推机会
⑤无限制浏览下载帮会资源
4、帮会网盘
帮会优质资源稳定更新，目前日更10+，年更至少1000+，截止目前帮会已累计更新1800+文档资源，网盘文件多维度分类，方便查找
部分帮会资源展示：
①国外政策文件
②国内政策文件
③国家标准、行业标准、团体标准
④行业技术报告
⑤行业技术白皮书
⑥行业技术论文
⑦实务手册指南
⑧行业大会材料
5、如何加入
现在帮会权益升级，原年卡会员119元，现永久会员139元，年卡会员89元，（随着资源增加、成员增多，后续永久会员价格将上调至199元），有意向的师傅们可以扫码加入我们，共同进步。
*加入方式：网页端和APP端*
网页端：
https://wiki.freebuf.com/societyDetail?society_id=344
APP端：
点分享
点收藏
点在看
点点赞
免责声明：以上报告均系通过公开、合法渠道获得，版权归原撰写/发布机构所有，如涉侵权， 请联系及时删除；内容为推荐阅读仅供参考学习，如对内容存疑请与原撰写/发布机构联系。
戳底部“阅读原文”或进入公众号聊天页获取交流群二维码扫码加入获取文档，打广告者勿扰。
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：安全进化论 AISAIL《大模型上线备案&算法备案全析》