阅读全文

⭐⭐⭐ Spring Boot 项目实战	⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》	《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》	《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》	《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》	《Java 面试题 + Java 学习指南》

摘要: 原创出处 量子位 「量子位」欢迎转载，保留摘要，谢谢！

• “AI污染源”，不止这一个
• 滥用AI，也毁了AI

---

🙂🙂🙂关注**微信公众号：【芋道源码】**有福利：

1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。

---

污染中文互联网，AI成了“罪魁祸首”之一。

事情是这样的。

最近大家不是都热衷于向AI咨询嘛，有位网友就问了Bing这么一个问题：

象鼻山是否有缆车？

Bing也是有问必答，给出了看似挺靠谱的答案：

在给出肯定的答复之后，Bing还贴心地附带上了票价、营业时间等细节信息。

不过这位网友并没有直接采纳答案，而是顺藤摸瓜点开了下方的“参考链接”。

此时网友察觉到了一丝丝的不对劲——这人的回答怎么“机里机气”的。

于是他点开了这位叫“百变人生”的用户主页，猛然发觉，介是个AI啊！

因为这位用户回答问题速度可以说是极快，差不多每1、2分钟就能搞定一个问题。

甚至能在1分钟之内回答2个问题。

在这位网友更为细心的观察之下，发现这些回答的内容都是没经过核实的那种……

可以发现这个 ai 账户在以极快的速度将未经核实的信息输出到中文互联网，并且误导了 bing ai ，以至于 bing 给出了错误的答案

并且他认为，这就是导致Bing输出错误答案的原因：

这个AI疯狂地污染中文互联网。

“AI污染源”，不止这一个

那么被网友发现的这位AI用户，现在怎么样了？

从目前结果来看，他已经被被知乎“判处”为禁言状态。

但尽管如此，也有其他网友直言不讳地表示：

不止一个。

若是点开知乎的“等你回答”这个栏目，随机找一个问题，往下拉一拉，确实是能碰到不少“机言机语”的回答。

例如我们在“AI在生活中的应用场景有哪些？”的回答中便找到了一个：

不仅是回答的语言“机言机语”，甚至回答直接打上了“包含AI辅助创作”的标签。

然后如果我们把问题丢给ChatGPT，那么得到回答……嗯，挺换汤不换药的。

事实上，诸如此类的“AI污染源”不止是在这一个平台上有。

就连简单的科普配图这事上，AI也是屡屡犯错。

网友们看完这事也是蚌埠住了：“好家伙，没有一个配图是河蚌”。

甚至各类AI生成的假新闻也是屡见不鲜。

例如前一段时间，便有一则耸人听闻的消息在网上疯传，标题是《郑州鸡排店惊现血案，男子用砖头砸死女子！》。

但事实上，这则新闻是江西男子陈某为吸粉引流，利用ChatGPT生成的。

无独有偶，广东深圳的洪某弟也是通过AI技术，发布过《今晨，甘肃一火车撞上修路工人， 致9人死亡》假新闻。

具体而言，他在全网搜索近几年的社会热点新闻，并使用AI软件对新闻时间、地点等进行修改编辑后，在某些平台赚取关注和流量进行非法牟利。

警方均已对他们采取了刑事强制措施。

但其实这种“AI污染源”的现象不仅仅是在国内存在，在国外亦是如此。

程序员问答社区Stack Overflow便是一个例子。

早在去年年底ChatGPT刚火起来的时候，Stack Overflow便突然宣布“临时禁用”。

当时官方给出来的理由是这样的：

（这样做）的目的是减缓使用ChatGPT创建的大量答案流入社区。

因为从ChatGPT得到错误答案的概率太高了！

Stack Overflow进一步阐述了这种现象。

他们认为以前用户回答的问题，都是会有专业知识背景的其他用户浏览，并给出正确与否，相当于是核实过。

但自打ChatGPT出现之后，涌现了大量让人觉得“很对”的答案；而有专业知识背景的用户数量是有限，没法把这些生成的答案都看个遍。

加之ChatGPT回答这些个专业性问题，它的错误率是实实在在摆在那里的；因此Stack Overflow才选择了禁用。

一言蔽之，AI污染了社区环境。

而且像在美版贴吧Reddit上，也是充斥着较多的ChatGPT板块、话题：

许多用户在这种栏目之下会提出各式各样的问题，ChatGPT bot也是有问必答。

不过，还是老问题，答案的准确性如何，就不得而知了。

但这种现象背后，其实还隐藏着更大的隐患。

滥用AI，也毁了AI

AI模型获得大量互联网数据，却无法很好地辨别信息的真实性和可信度。

结果就是，我们不得不面对一大堆快速生成的低质量内容，让人眼花缭乱，头晕目眩。

很难想象ChatGPT这些大模型如果用这种数据训练，结果会是啥样……

而如此滥用AI，反过来也是一种自噬。

最近，英国和加拿大的研究人员在arXiv上发表了一篇题目为《The Curse of Recursion: Training on Generated Data Makes Models Forget》的论文。

探讨了现在AI生成内容污染互联网的现状，然后公布了一项令人担忧的发现，使用模型生成的内容训练其他模型，会导致结果模型出现不可逆的缺陷。

这种AI生成数据的“污染”会导致模型对现实的认知产生扭曲，未来通过抓取互联网数据来训练模型会变得更加困难。

论文作者，剑桥大学和爱丁堡大学安全工程教授Ross Anderson毫不避讳的直言：

正如我们用塑料垃圾布满了海洋，用二氧化碳填满了大气层，我们即将用废话填满互联网。

对于虚假信息满天飞的情况，Google Brain的高级研究科学家达芙妮 · 伊波利托(Daphne Ippolito)表示：想在未来找到高质量且未被AI训练的数据，将难上加难。

假如满屏都是这种无营养的劣质信息，如此循环往复，那以后AI就没有数据训练，输出的结果还有啥意义呢。

基于这种状况，大胆设想一下。一个成长于垃圾、虚假数据环境中的AI，在进化成人前，可能就先被拟合成一个“智障机器人”、一个心理扭曲的心理智障。

就像1996年的科幻喜剧电影《丈夫一箩筐》，影片讲述了一个普通人克隆自己，然后又克隆克隆人，每一次克隆都导致克隆人的智力水平呈指数下降，愚蠢程度增加。

那个时候，我们可能将不得不面临一个荒谬困境：人类创造了具有惊人能力的AI，而它却塞满了无聊愚蠢的信息。

如果AI被喂进的只是虚假的垃圾数据，我们又能期待它们创造出什么样的内容呢？

假如时间到那个时候，我们大概都会怀念过去，向那些真正的人类智慧致敬吧。

话虽如此，但也不全坏消息。比如部分内容平台已开始关注AI生成低劣内容的问题，并推出相关规定加以限制。

一些个AI公司也开始搞能鉴别AI生成内容的技术，以减少AI虚假、垃圾信息的爆炸。

对于这样的事情，你怎么看？