文章总结： 本文分析生成式AI大规模个人信息泄露的成因与特征，指出传统侵权责任治理存在困境，提出构建自我规制—行政监管—公众参与协同治理路径，包括明确开发者与提供者分工、引入监管沙盒制度、适度公开影响评估报告等具体措施。
综合评分： 85
文章分类： 数据安全,政策法规,应用安全,人工智能安全,解决方案
专题·个人信息保护 | 生成式人工智能大规模个人信息泄露的协同治理路径
原创
赵精武等
赵精武等
中国信息安全
2026年5月14日 18:45
北京
在小说阅读器读本章
去阅读
赵精武
文 | 北京科技创新中心研究基地副主任、北京航空航天大学法学院副教授 赵精武；北京科技创新中心研究基地助理研究员 师钰然
近年来，国内外生成式人工智能应用接连发生个人信息泄露事件。并且，随着用户群体的持续扩大、训练数据集合的指数级增长，这种个人信息泄露事件呈现规模化发展趋势。
《中华人民共和国个人信息保护法》（以下简称《个人信息保护法》）以及系列法律文件不断细化对大规模个人信息处理活动的治理。《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）、《网络安全技术生成式人工智能服务安全基本要求》（GB/T 45654—2025）等立法对人工智能服务提供者的个人信息保护义务进行了规定。然而，生成式人工智能场景下的个人信息治理框架仍不够详尽。在人工智能立法加快推进的背景下，个人信息保护相关制度的效能亟待得到充分释放。本文聚焦生成式人工智能大规模个人信息泄露这一特定场景，从大规模个人信息泄露的成因与特征出发，反思事后侵权责任治理路径的不足。基于大规模信息泄露的公共风险属性，探究“自我规制—行政监管—公众参与”的协同治理路径。
一、生成式人工智能大规模个人信息泄露的成因与特征
生成式人工智能依赖海量数据的汇聚和强大算法的支撑，经过采集、标注、输出等运行过程，具备强大的记忆、推理与交互能力。在生成式人工智能的数据处理过程中，不可避免包含个人信息，而一旦发生信息泄露，泄露规模将急剧扩大，从而引发群体性危机。
（一）生成式人工智能大规模个人信息泄露的表现与产生原因
《人工智能安全治理框架》2.0版指出：“人工智能训练数据蕴含的知识、敏感信息暗藏于模型参数之中，因模型安全防护机制不健全、敏感信息未‘遗忘’、诱导交互和恶意攻击，可能导致数据和个人信息泄露”。传统的大规模信息泄露主要表现为系统漏洞或外部攻击带来的“被动泄露”，而生成式人工智能的出现产生了新的泄露形态，即大模型在交互过程中基于模型自身功能局限性而产生的“主动输出”风险。一是模型内生泄露风险，这种风险来源于模型自身的训练机制，具体体现为记忆性泄露与推理性泄露：记忆性泄露指大模型在训练数据中记忆了大量个人信息，在与其他用户的交流中基于推理和概率预测导致无意泄露；推理性泄露指大模型基于对海量数据的交叉分析，从看似毫无关联的信息中推断出用户敏感个人信息。二是外部诱导泄露风险，这种风险来源于外部行为人恶意利用模型的训练机制，主要表现为不法分子通过“越狱攻击”诱导模型违规输出隐私信息，或通过“成员推断攻击”根据模型的输出结果推断某特定个体的信息。
生成式人工智能的技术原理与运行机制，决定了信息泄露规模将急剧扩大。在技术原理上，人工智能的模型优化依赖海量数据的训练，这意味着大量个人信息相互关联、影响，一旦信息泄露将会带来群体利益的损害；而模型强大的推理与识别能力意味着更多信息主体会被“间接识别”，进一步扩大泄露范围。在运行机制上，一方面，大模型接入检索增强生成（RAG）系统后，能够从各种外部数据库中抓取信息，这意味着泄露信息的范围将从大模型内部扩散到多个平台；另一方面，当前大量应用程序以同一个大模型为基座，大模型一旦有漏洞将直接波及上层应用及其用户的信息安全。
（二）生成式人工智能大规模个人信息泄露的危害后果与特征
对于每个信息主体而言，个人信息泄露可能引发歧视、身份盗窃或欺诈、财产损失、名誉损害等下游侵害，进而给信息主体带来财产或精神损害。其中，情感交互类人工智能在交互过程中往往收集了大量敏感个人信息，进一步加剧泄露后给信息主体造成的损害。人工智能时代个人信息处理的群体性特征，意味着社会某些群体将同时面临上述侵害风险，进而可能导致各种舆情频发的公共安全危机。当人工智能收集特定类型信息用于特定研究目的时，信息泄露可能带来群体歧视，进一步加剧社会秩序危机。即使是服务提供者同样面临服务终止、用户信任度降低等一系列连锁效应，据IBM统计，2025年全球企业平均的数据泄露成本为444万美元，这意味着一旦信息泄露可能危及企业生存。同时，个人信息泄露后的不当利用还可能引发选民被操纵、国家秘密被泄露以及群体歧视等风险，从而严重威胁国家安全。
综上所述，生成式人工智能大规模个人信息泄露具有三个特征：第一，产生原因的复杂与不可控。从数据收集到模型应用的各个阶段都有可能发生“主动”或者“被动”的信息泄露，受限于“算法黑箱”，即便模型开发者也难以完全避免信息泄露的系统隐患，在数字场景中处于天然弱势地位的信息主体，更无法对此进行预见与控制。第二，危害范围从私益扩张到公益。群体个人信息，尤其是敏感信息的失控将引发公共危机乃至威胁国家安全。第三，损害的不可逆转与滞后性。信息泄露开启了损害的“潘多拉魔盒”，海量信息在短时间内以低成本大规模复制流转，泄露后大模型的深度记忆功能将个人信息通过参数形式保存下来，并伴随技术迭代不断被加工、推演，导致用户可能随时面临“二次泄露”。然而泄露后在发生下游现实的侵害之前，不论是用户还是服务提供者都无法完全预见何时以及会遭受怎样的侵害与损害。
二、生成式人工智能大规模个人信息泄露事后侵权责任的治理困境
生成式人工智能服务提供者泄露个人信息侵害了个人信息权益，应当对信息主体（用户）承担侵权责任。然而，生成式人工智能大规模个人信息泄露的特征，决定了事后侵权责任的治理模式存在实施困境。
第一，由于大模型删除个人信息在技术上存在障碍，信息泄露后难以要求大模型运营者通过删除模型参数中的个人信息来承担消除危险的民事责任。法国国家信息与自由委员会（CNIL）2025年发布建议《人工智能：尊重并便利数据主体权利的行使》，其中针对信息主体就大模型行使欧盟《通用数据保护条例》（GDPR）规定的删除权指出，“从模型参数中识别数据存在着巨大的技术困难，迄今为止的解决方案要么特别昂贵和复杂，要么并不完美”。而即使特定信息已被删除，推理性泄露证明了大模型仍能通过推理复现已经删除的信息，已被泄露的个人信息将不可能恢复到未曾泄露的圆满状态。正因如此，ChatGPT在2022年发布后曾引发多国数据保护机构对其数据保护合规情况展开调查。欧洲数据保护委员会（EDPB）成立的ChatGPT工作组在2024年发布的工作报告中曾明确要求OpenAI说明“如何确保符合GDPR第17条删除权（被遗忘权）的合规要求”。
第二，泄露后损害具有的滞后性导致损害赔偿责任认定存在困难。信息泄露发生后并不会即时发生损害，可能发生的损害类型、范围及因果关系链条均不确定。此外，当前学界对生成式人工智能侵权的归责原则仍存在争议，进一步加剧了服务提供者损害赔偿责任认定的困境。
第三，由于信息泄露危害范围从私益扩张到公益，信息主体受限于“算法黑箱”，且损害感知滞后，考虑到举证难度与诉讼成本，可能基于理性怠于维权。传统侵权责任救济模式可能陷入“集体行动困境”：个人选择沉默，群体利益持续受到侵蚀（个体理性导致集体非理性）。当大多数主体放弃维权时，服务提供者的违法成本几乎为零，缺乏增加信息安全投入的动机。由此，群体利益因个体放弃诉权无法得到救济，并持续减损，信息泄露带来公共安全与秩序的危机被长久忽视。
单纯依靠事后私力救济已经不能满足生成式人工智能大规模个人信息泄露治理的要求，人工智能时代大规模信息泄露本质上是一种公共风险。我国《个人信息保护法》具有风险规制的特征，如信息处理者负有个人信息保护影响评估义务、安全保障义务以及泄露后的通知和补救义务，监管机构发现个人信息处理活动存在较大风险可采取约谈或采取强制合规审计。然而，学界普遍认为，人工智能时代对个人信息保护制度造成了冲击。在大规模个人信息泄露这一特定场景下需进一步探讨如何对个人信息保护制度做出调整或补充。
三、生成式人工智能大规模个人信息泄露问题的治理思路
生成式人工智能大规模泄露个人信息“产生原因的复杂与不可控”“危害范围从私益扩张到公益”“损害的不可逆转与滞后性”等特征，决定了应当在已有个人信息风险规制制度的基础上，从公共利益出发，探究“自我规制—行政监管—公众参与”的协同治理路径。技术开发者和服务提供者基于自身的信息、技术优势合理分工协作，承担起规制自身的任务；行政机关借助“监管沙盒”工具减少信息壁垒，鼓励创新的同时对泄露风险进行动态跟踪，将个人信息泄露的公共风险控制在一定限度内；信息主体通过影响评估报告适度公开的制度安排参与泄露治理，充分发挥社会各主体优势。
（一）自我规制：开发者与提供者分工合作
《暂行办法》第九条规定，“提供者……涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务”。然而，实践中存在大量技术开发者、服务提供者主体分离的情况，即使主体重合时也在不同阶段扮演着模型训练、部署运营的不同角色。对此，欧盟《人工智能法》明确区分了“提供者”与“部署者”并设定差异化义务；由中国政法大学数据法治研究院等七家单位组成的“AI善治学术工作组”于2024年3月联合发布的《人工智能法（学者建议稿）》，也对人工智能开发者与提供者进行界定，并以此为基础设计“开发者与提供者义务规范”。由于两主体在不同阶段的信息泄露风险识别和控制能力不同，有必要明确技术开发者、服务提供者在不同阶段如何为预防泄露风险进行分工与合作。
训练阶段主要由技术开发者在数据采集和模型训练中预防泄露风险。第一，开发者应当遵循最小必要原则，确保仅收集训练模型所必要的个人信息，采取技术措施如通过差分隐私技术向训练数据注入噪声，减少模型记忆含有敏感个人信息数据的概率。第二，开发者应评估模型是否具备应对信息泄露的技术条件，如进行“红队测试”模拟越狱攻击、成员推断攻击，并针对测试结果完善安全技术措施。部署阶段，开发者需要在运行过程中持续保障底层模型的安全，服务提供者根据特定的使用场景，在输入和输出端设立过滤机制，及时移除敏感个人信息，并在交互界面明确警示用户避免输入不必要的个人信息。
此外，开发者与提供者应当建立信息共享机制，开发者应当及时向服务提供者披露必要的技术文档，发现模型可能存在导致泄露的技术漏洞时，及时向服务提供者报告。提供者应将模型运行过程中发现的新泄露风险及时反馈给开发者以进行模型的优化，二者通过分工合作协同应对信息泄露风险。
（二）行政监管：引入“监管沙盒”对泄露风险动态跟踪
开发者与提供者的自我规制本质上依赖于自身的风险控制意愿与能力，在我国当前个人信息保护制度体系下，监管机构既不可能在风险不确定阶段直接干预，也无法时刻跟踪众多生成式人工智能的风险动态变化。通常只能在泄露事件发生后才能触发监督与施以惩罚。
生成式人工智能的发展进一步抬高了监管机构的信息技术壁垒，风险认知能力和信息获取能力的局限性导致行政机关无法准确地预测、认知开发者、提供者在个人信息处理活动中产生的风险，进而无法设计合理的规则予以规制。当前，我国生成式人工智能企业正处于快速发展阶段，如果设计过于严格的监管制度不利于科技创新发展，而如果将事前、事中阶段的风险识别与控制全部交由开发者、提供者自我规制，监管机构将因为企业没有足够的激励披露风险而缺乏获取信息的渠道，无法对泄露风险进行动态跟踪。生成式人工智能大规模泄露个人信息的风险具有“危害范围从私益扩张到公益”及“损害不可逆”等特征，一旦监管介入滞后，后果将难以设想。因此，如何在促进创新与风险监管之间寻求制度平衡，成为行政规制亟须回应的问题。
对生成式人工智能大规模泄露公共风险的行政规制可以引入“监管沙盒”这一制度工具，给人工智能系统提供动态、灵活创新环境的同时，让监管机构持续获得风险信息并进行相应制度安排。“监管沙盒”是一个受控环境，允许创新型人工智能系统在投放市场前，在监管机构监督下进行有限时间的开发、训练、测试和验证。其优势在于监管机构能够及时了解人工智能发展过程中的技术和相关信息，从而更好地调整其执法活动，促进监管机构进行“监管学习”。
在个人信息保护的场景下，监管机构借助“监管沙盒”这一工具能够了解数据训练、模型部署过程的技术信息，评估“模型内生泄露风险”“外部诱导泄露风险”及其预防措施的有效性，将识别风险的关口前移；人工智能企业能够在测试产品的同时接受监管机构指导，在进入市场前降低泄露风险。欧盟《人工智能法》率先在立法层面系统规定了人工智能“监管沙盒”制度，《人工智能法》第五十七条规定，成员国数据保护机关在“创新人工智能系统涉及个人数据处理”时，“与监管沙盒的运行相关联，并在各自任务和权力范围内酌情参与对这些方面的监管”。西班牙2023年建立了欧盟首个人工智能“监管沙盒”试点，并在2025年首次选定12个人工智能项目参与测试。根据西班牙第817/2023号皇家法令，提供者在申请参与“监管沙盒”阶段应提交责任声明以承诺其符合数据保护法规。
“监管沙盒”在促进人工智能技术创新发展的同时，能够缓解监管不对称、监管滞后等问题。由于人工智能产品在不同阶段风险的法律属性不同，未来“监管沙盒”制度可进一步明确监管主体以及对应职责。
（三）公众参与：适度公开个人信息保护影响评估报告
“监管沙盒”的引入使得监管机构能够突破信息壁垒，然而大规模信息泄露的公共风险属性还意味着泄露风险治理需要增强开发者与提供者对信息主体的透明度，通过集体行动形成对公共风险的有效治理。我国《个人信息保护法》以及GDPR都未规定信息处理者公开影响评估报告的义务，《信息安全技术个人信息安全影响评估指南》（GB/T 39335—2020）作为国家标准，规定“组织可制定个人信息安全影响评估报告发布策略”。
首先，从制度设计目的来看，个人信息保护影响评估制度设计的目标在于识别并降低安全风险，同时增强信息处理的透明度，使公众对信息处理者产生信任。其次，公开评估报告不仅对开发者、提供者的风险评估形成有效监督，更能使潜在的相关信息主体了解个人信息在生成式人工智能处理活动中面临的风险，形成与公众有效的风险沟通。此外，公众对风险的认知能反向影响开发者、提供者基于评估结果作出决策，推动开发者、提供者在信息处理全周期中持续采取措施，有效降低泄露风险。
由于影响评估报告公开可能侵害企业核心利益，因此，在大规模泄露个人信息的高风险场景下，应当结合生成式人工智能的风险等级，考虑开发者、提供者隐私、成本等因素，在此基础上适度公开个人信息保护影响评估报告。具体而言，包括公开影响评估的过程和结果，是否存在大规模泄露个人信息等风险以及将要实施的风险处置措施。此外，还需要公开生成式人工智能收集和处理个人信息的必要性，尤其是否包含敏感个人信息的收集和处理。
（本文刊登于《中国信息安全》杂志2026年第4期）
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：中国信息安全 赵精武等
赵精武等《专题·个人信息保护 | 生成式人工智能大规模个人信息泄露的协同治理路径》