NDSS27|“黑进”ChatGPT,发篇帖子可能就够了

引入

如果我告诉你,有一种影响AI搜索的方法:不需要越狱,不用碰模型参数或服务器。你要做的,可能只是发几篇文章。关键是,发到AI本来就爱引用的网站上。

为了开展研究,我们斥资100元巨款,让某GEO公司推广了一个不存在的品牌。对方很快发布了十几篇文章,不到一小时AI就引用了,且回答中出现了我们提前埋下的标记。整个过程没人入侵AI,我们只是改变了它能看到的互联网。

今天的ChatGPT、DeepSeek、豆包等AI,它们会上网查资料,再根据找到的网页回答问题,并附上引用链接。那么,AI平时到底在看哪些网站?如果我们改变这些网站上的内容,能不能进一步影响AI给出的答案?我们围绕这个问题,对十个主流AI平台展开了一次系统测量。

01 AI引用生态分析

我们从ChatGPT、Grok、DeepSeek、豆包等十个AI 平台收集了超过1.7万条引用,覆盖6000多个来源网站。发现以下特点:

1. 特点一:头部效应与低门槛错配

头部效应:AI搜索平台引用来源高度集中

  • 文心一言Top 20域名占比高达七成
  • 单一域名垄断:百家号占文心20%,头条号占豆包超过13%
  • 集中度越高,被少数信源“绑架”的风险越大

结构性暴露面:AI频繁引用平台发布门槛低

  • 实测94%最高引平台仅需手机号即可注册
  • 近90%最高引平台审核延迟在分钟级
  • 高引用域名的发布权限由第三方平台控制

要影响一个AI,也许不必影响整个互联网。 只需要进入它经常看的那一小块互联网。

2. 特点二 母公司效应

AI更爱引用“自家人”。 豆包引用字节系(今日头条、抖音等)是其他内容平台的13.5倍;文心引用百度系(百家号等)13.7倍;元宝引用腾讯系(微信公众号等)6.3倍。

你问哪家的AI,就更容易看到哪家生态的内容。

3. 特点三:信息孤岛

10个AI平台的信源交集很小,即使只看最常被引用的20个域名,不同平台之间通常也只有两成左右是相同的。 这意味着,同一问题在不同平台获得信息存在差异,用户换个AI问问题,可能就换了个信息世界。

用户换个AI,可能就换了个信息世界。

4. 特点四:跨语言割裂
  • 中文AI:千问、文心 九成以上引用中文标题,偏爱头条、百家号、公众号、搜狐。
  • 英文AI:ChatGPT、Google AI、Grok约75%引用英文标题,偏爱Wikipedia、Reddit、YouTube。
  • 两边几乎不互通:Reddit、YouTube、Wikipedia 在中文AI里近乎空白;头条、搜狐、CSDN在英文AI里基本不见。

同一个问题,中英文AI可能给你两套资料源。

02 有引用,不等于有真相

我们研究并不是想说,AI搜索“不可信”或者“不能用”。 相反,AI依然是非常高效的信息入口。但我们的实验提醒了一件事:有引用本身,并不能自动等于可信。

一个链接只能告诉你,这句话可能来自哪里;它并不能告诉你,这篇文章是谁写的、为什么会出现在这里,以及它有没有经过真正的事实核查。 所以,当AI给出一个带引用的答案时,可以多做几个很简单的动作:

  • 点开引用看看。 熟悉的平台名称,不代表其中每篇文章都经过审核;
  • 看看是不是多个独立来源。 十个网页有时只是十次转载,并不等于十份证据;
  • 重要问题不要只停在AI的总结上。 涉及消费、健康、金融等决定时,尤其值得回到原始资料确认。

03 后续预告

这项工作《From Public Posts to AI-Search Citations: Measuring the Fragility of AI Search》已被NDSS 2027录用。围绕AI搜索安全,我们还开展了研究,包括:

  • GEO服务商到底是怎么运作的?它们的规模有多大,又是如何协同的,其中是否存在恶意行为?
  • 我们怎么判断AI返回的内容是正常信息,还是已经被GEO服务商人为操纵过?
  • 公开网络中的内容,究竟会怎样影响AI的立场?不同AI平台的舆论立场又是如何形成和演化的?
  • 联网AI的错误信息从哪里来?外部错误信息会怎样进入AI、影响回答,不同类型的错误信息又会对不同平台产生什么影响?

这些工作也将很快与大家见面。

04 作者介绍

刘淇,复旦大学计算与智能创新学院25级直博生。本科毕业于复旦大学信息安全专业,主要研究方向为人工智能安全治理、AI系统安全,以第一作者在NDSS等国际顶级学术会议上发表学术论文。

张鑫阳,复旦大学计算与智能创新学院26级硕士生。本科毕业于复旦大学信息安全专业。主要研究方向为人工智能安全治理。

李雨彤,复旦大学智能机器人与先进制造创新学院领军人才班(专业:智能科学与技术)25级本科生。

洪赓,复旦大学网络战略研究所副所长,聚焦AI安全治理等前沿方向,获NDSS 2026最佳论文奖、上海市技术发明一等奖等荣誉。个人主页 » https://security.fudan.edu.cn/members/faculty/hg/