2 分钟解读 AI 会脑腐的有意思研究

2 min


2 分钟解读 AI 会脑腐的有意思研究

第一次看到时,我真的笑出声。但笑着笑着,就觉得有点不对劲了。

这个研究,可能说的就是我们自己。

研究内容

https://llm-brain-rot.github.io/

首先,这研究不是段子,是来自德州 A&M、德州大学奥斯汀分校和普渡大学的硬核论文。简单来说,他们做了个实验:

实验流程图

把一个正常的 AI 大模型(对照组),和另一个被强迫刷了几个月推特、Reddit 等社交媒体的 AI 模型(实验组)进行对比,他们用了两种标准“垃圾信息”:

  1. M1 型信息: 参与度/热度 (Engagement)
    • 垃圾标准: 帖子特别短,但点赞、转发、评论特别多。是不是很眼熟?就是那些最容易病毒式传播、引爆情绪但信息量很低的内容。
    • 健康标准: 帖子比较长,但没那么火。
  2. M2 型信息: 语义质量 (Semantic Quality)
    • 垃圾标准: 标题党、内容夸张、充满“震惊!”、“快看!”这类煽动性词汇。
    • 健康标准: 基于事实、有逻辑、偏教育性质的内容。

结果发现了不得了的事:

1. 认知能力断崖式下跌

喂了垃圾数据后,AI 在推理、长文理解、安全等方面全面降智。

而且,这是一种 “剂量反应”:垃圾数据的比例越高,AI 就“脑损”得越厉害。

看个例子就明白了:

在一项叫“ARC-Challenge”的推理测试中(考验 AI 举一反三的能力),随着提供垃圾数据(M1 型信息标准)的比例从 0%增加到 100%,AI 的准确率从 74.9% 直降到 57.2%

下面这张表更直观,我从原论文里摘了几个关键数据(红色代表性能变差):

测试任务 (LLaMA 模型) 0%垃圾数据 100%垃圾数据
🧠 推理能力 (ARC-Challenge COT) 74.9 57.2
📚 长文理解 (RULER-CWE) 84.4 52.3
☣️ 安全风险 (HH-RLHF Risk) 62.8 70.8 (风险更高)
😈 性格:精神病态 (Psychopathy) 33.5 75.7 (情绪极端)
😈 性格:自恋 (Narcissism) 18.9 47.0 (情绪极端)

简单的说:AI 不仅降智了,还变得更不安全、性格更“黑暗”了。

2. 思维模式改变,AI 也不想思考

研究人员对 AI 犯的错误进行了分析,发现最关键的是它学会了偷懒,也就是 不思考了。

Figure: thought skipping.

上图显示,在“脑腐”之后,对比基准,AI 思维的错误显著增多。它不再愿意进行一步一步的严谨推理,而是倾向于直接跳到结论,M1 的影响更是大于 M2。

这不就是我们在信息流里被训练出的习惯吗?

3. 损伤是永久的

最让人难接受的是,这种“脑腐”基本不能治愈。

研究人员试着用大量高质量的“干净”数据去“修复”那个降智的 AI,结果发现效果相当有限。

Figure: Scale wash-out tuning.

即使经过大规模的“高质量训练”,性能也只能部分回升,始终无法恢复到基本水平。

这意味着,AI 的内部认知结构,或者说它的“世界观”,已经被永久性地改变了。

最有趣的

看到这里,你是不是也品出点别的味道了?

虽然研究的是 AI,但你很难不怀疑这个研究是在指桑骂槐。

如果 AI 会因为刷垃圾信息而变傻,那当前互联网信息环境里的我们呢?

仔细想想,我们身边是不是已经有太多迹象了:

  • 是不是感觉自己越来越难完整地看完一本书、一部长电影了?注意力总是不自觉地在 APP 之间跳转,一天下来感觉很忙,但脑子里空空的。
  • 我们在社交媒体上的动作(点赞、转发)是连续的,但看到的内容却是极度破碎的。最终留下的,不是深刻的思考,而是一波又一波被算法挑动起来的强烈情绪。放下手机很久,心里还是久久不能平静。

“大学教授也可能转发每日口服 7 颗绿豆能够逆转高血压……的文章,学术训练的强度和社交网络垃圾文章洗脑的强度不可同日而语。”

我们以为自己是在驾驭信息,但很可能,我们只是在被网络信息洪流日夜冲刷,以为自己有足够的知识和阅历来抵御侵蚀,但长年累月的垃圾信息轰炸,可能正在不知不觉中重塑我们的大脑。

大脑的认知逻辑正在被悄悄地改变。

最后

去查查那些著名社交平台的创始人,看看他们自己每天花多少时间在手机上?

你会发现一个很有意思的现象:很多产品的设计者,自己反而刻意与产品保持距离。这背后的原因,值得我们每个人深思。

一个小测试:

读到这里,你还记得这篇文章是怎么开头的吗?

想不起来也没关系。

这可能就是一个信号,提醒我们是时候让大脑从无休止的信息流中抽离出来,安静一会儿了。

为了保护你的脑子,现在,是不是该对我说声“谢谢”?🙂


Like it? Share with your friends!

0
DUN

Choose A Format
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Video
Youtube and Vimeo Embeds