文章总结: 复旦白泽战队研究揭示AI搜索引用生态存在头部集中、母公司效应、信息孤岛及跨语言割裂等脆弱性。实验表明通过GEO服务商发布内容可影响AI回答,无需入侵系统。建议用户核查引用来源、交叉验证多源信息,重要决策需回归原始资料。该研究已被NDSS2027录用。
综合评分: 85
文章分类: AI安全,威胁情报,安全意识
NDSS27|“黑进”ChatGPT,发篇帖子可能就够了
原创
复旦白泽战队
复旦白泽战队
复旦白泽战队
2026年9月29日 16:04
上海
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
引入
如果我告诉你,有一种影响AI搜索的方法:不需要越狱,不用碰模型参数或服务器。你要做的,可能只是发几篇文章。关键是,发到AI本来就爱引用的网站上。
为了开展研究,我们斥资100元巨款,让某GEO公司推广了一个不存在的品牌。对方很快发布了十几篇文章,不到一小时AI就引用了,且回答中出现了我们提前埋下的标记。整个过程没人入侵AI,我们只是改变了它能看到的互联网。
今天的ChatGPT、DeepSeek、豆包等AI,它们会上网查资料,再根据找到的网页回答问题,并附上引用链接。那么,AI平时到底在看哪些网站?如果我们改变这些网站上的内容,能不能进一步影响AI给出的答案?我们围绕这个问题,对十个主流AI平台展开了一次系统测量。
01
AI引用生态分析
我们从ChatGPT、Grok、DeepSeek、豆包等十个AI 平台收集了超过1.7万条引用,覆盖6000多个来源网站。发现以下特点:
特点一
头部效应与低门槛错配
头部效应:AI搜索平台引用来源高度集中
- 文心一言Top 20域名占比高达七成
- 单一域名垄断:百家号占文心20%,头条号占豆包超过13%
- 集中度越高,被少数信源“绑架”的风险越大
结构性暴露面:AI频繁引用平台发布门槛低
- 实测94%最高引平台仅需手机号即可注册
- 近90%最高引平台审核延迟在分钟级
- 高引用域名的发布权限由第三方平台控制
要影响一个AI,也许不必影响整个互联网。
只需要进入它经常看的那一小块互联网。
特点二
母公司效应
AI更爱引用“自家人”。
豆包引用字节系(今日头条、抖音等)是其他内容平台的13.5倍;文心引用百度系(百家号等)13.7倍;元宝引用腾讯系(微信公众号等)6.3倍。
你问哪家的AI,就更容易看到哪家生态的内容。
特点三
信息孤岛
10个AI平台的信源交集很小,即使只看最常被引用的20个域名,不同平台之间通常也只有两成左右是相同的。
这意味着,同一问题在不同平台获得信息存在差异,用户换个AI问问题,可能就换了个信息世界。
用户换个AI,可能就换了个信息世界。
特点四
跨语言割裂
• 中文AI:千问、文心 九成以上引用中文标题,偏爱头条、百家号、公众号、搜狐。
• 英文AI:ChatGPT、Google AI、Grok约75%引用英文标题,偏爱Wikipedia、Reddit、YouTube。
• 两边几乎不互通:Reddit、YouTube、Wikipedia 在中文AI里近乎空白;头条、搜狐、CSDN在英文AI里基本不见。
同一个问题,中英文AI可能给你两套资料源。
02
有引用,不等于有真相
我们研究并不是想说,AI搜索“不可信”或者“不能用”。
相反,AI依然是非常高效的信息入口。但我们的实验提醒了一件事:有引用本身,并不能自动等于可信。
一个链接只能告诉你,这句话可能来自哪里;它并不能告诉你,这篇文章是谁写的、为什么会出现在这里,以及它有没有经过真正的事实核查。
所以,当AI给出一个带引用的答案时,可以多做几个很简单的动作:
- 点开引用看看。 熟悉的平台名称,不代表其中每篇文章都经过审核;
- 看看是不是多个独立来源。 十个网页有时只是十次转载,并不等于十份证据;
- 重要问题不要只停在AI的总结上。 涉及消费、健康、金融等决定时,尤其值得回到原始资料确认。
03
后续预告
这项工作《From Public Posts to AI-Search Citations: Measuring the Fragility of AI Search》已被NDSS 2027录用。围绕AI搜索安全,我们还开展了研究,包括:
- GEO服务商到底是怎么运作的?它们的规模有多大,又是如何协同的,其中是否存在恶意行为?
- 我们怎么判断AI返回的内容是正常信息,还是已经被GEO服务商人为操纵过?
- 公开网络中的内容,究竟会怎样影响AI的立场?不同AI平台的舆论立场又是如何形成和演化的?
- 联网AI的错误信息从哪里来?外部错误信息会怎样进入AI、影响回答,不同类型的错误信息又会对不同平台产生什么影响?
这些工作也将很快与大家见面。
04
作者介绍
- 刘淇,复旦大学计算与智能创新学院25级直博生。本科毕业于复旦大学信息安全专业,主要研究方向为人工智能安全治理、AI系统安全,以第一作者在NDSS等国际顶级学术会议上发表学术论文。
- 张鑫阳,复旦大学计算与智能创新学院26级硕士生。本科毕业于复旦大学信息安全专业。主要研究方向为人工智能安全治理。
- 李雨彤,复旦大学智能机器人与先进制造创新学院领军人才班(专业:智能科学与技术)25级本科生。
洪赓,复旦大学网络战略研究所副所长,聚焦AI安全治理等前沿方向,获NDSS 2026最佳论文奖、上海市技术发明一等奖等荣誉。个人主页 »
https://security.fudan.edu.cn/members/faculty/hg/
供稿、排版:刘淇
责编:董佳仪
审核:洪赓、王婧
复旦白泽战队
一个有情怀的安全团队
还没有关注复旦白泽战队?
公众号、小红书搜索:复旦白泽战队也能找到我们哦~
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:复旦白泽战队 复旦白泽战队
复旦白泽战队《NDSS27|“黑进”ChatGPT,发篇帖子可能就够了》