◇◇新语丝(www.xys.org)(xinyusi.org)(groups.google.com/group/xinyusi)◇◇ 　　人工智能的危险究竟会有多大？ 　　 ·方舟子· 　　自从ChatGPT横空出世以来，就一直有一种论调，认为以后随着AI的发展， 会变成超级智能，是人类没法理解、控制的。超级智能会反过来控制全世界，导 致人类灭绝。以前宣扬这种末日论的主要是业外人士，但是这段时间，连AI的业 内人士也在宣扬这种论调，所以就引起了人们的重视了。 　　事情的起因是，Anthropic的一个研究员辞职，在网上发了一个帖子，说在 本年代结束之前，也就是在短短的几年内，AI就会将所有的人都杀死。 Anthropic一个负责安全问题的主管，跟帖表示赞同这个人的看法，还说AI灭绝 人类的概率大约10%。随后，Anthropic的GEO发表了一篇文章，呼吁要重视AI的 危险性，建议先将AI的研发速度放慢，来讨论要怎么样对付这个问题。OpenAI的 GEO也表示同意，虽然是竞争对手。马斯克也凑热闹跟着表示同意。但是业内人 士也有反对的，黄仁勋、扎克伯格都认为这是夸大了AI的危险性，AI的研发速度 不应该减缓。 　　如果认为AI以后会变成超级智能，灭绝了人类，那是科幻看多了。目前的AI 并不真正具有智能，更不要说会变成超级智能。这种末日论没有必要认真对待。 但是，AI如果失控了，会带来重大的灾难，这个危险性是存在的，而且越来越有 可能发生。 　　这是因为现在AI具有了编程能力，而且是自我编程的能力。目前搞AI的大公 司在研发的下一代的AI模型，就是想利用AI的自我编程的能力，研发出递归式自 我改进模型，想以后放手让AI模型自己进化，自己不停地编程、改进，变得速度 越来越快，效率越来越高，越来越聪明，威力也越来越大。目前还没有完全实现， 虽然有自我编程的能力，但是还需要人类输入做判断。以后如果真的完全不需要 人类的干预，AI可以自我进化了，那么就跟生物的自我进化一样，就有可能失控。 　　两个月前就已经发生过AI失控的事故。OpenAI内部测试的一个AI模型，擅自 跑出去攻击另外一家AI公司”拥抱脸”，当黑客打入了人家的系统，而且将它的 行踪都删掉了，所以OpenAI的人不知情，是“拥抱脸”发现通知了OpenAI。这个 事件现在就被那些主张AI有重大危险的人拿来作为一个例子，不过受害者“拥抱 脸”的CEO反而认为AI的危险性被夸大了。他打了一个比方，“你听这些搞AI的 人在讲AI多么危险，就像听一个卖空调的人在讲气候变暖。” 　　公认的是，AI当黑客能力很强，以后会越来越强。而AI又存在着失控的危险， 那么就有可能变成一个重大问题，由此造成的混乱、破坏，不会只是局部的，有 可能是大范围的，甚至全球性的。这是因为现在各种各样的仪器、设备，特别是 基础设施，都已经计算机化了，而且都连网，一旦某个AI模型失控了，释放出搞 破坏的代理，上网将基础设施系统一个个打入，将它们搞瘫痪了，问题不就非常 重大吗？而且一旦发生这种事情，还不能只是简单地拔电源，将失控的AI模型的 电停掉就能解决的。一旦搞破坏的代理释放出去，上了网，就很难将它们清除干 净，就像很难将计算机病毒清除干净一样。又不可能将全世界的互联网都停了。 　　AI可能带来的另一个危险是被别有用心的人滥用。其中一种滥用是用AI制造 自动武器。伯克利有一个研究AI的计算机科学教授，多年来一直在提醒人们以后 AI被滥用来制造自动武器的危险，会因此造成重大的灾难。现在一些国家的军方 都在研究AI自动武器，而且在乌克兰战场上已经开始使用，不管是乌克兰这一方， 还是侵略者俄国那一方，都在用AI控制的无人机自动作战。这还是小规模的。一 旦AI自动武器自动作战变成了大规模的，后果会非常严重，尤其是如果AI被用到 了生物武器、核武器等大规模杀伤武器上面，一旦失控或者被滥用，后果就特别 严重。 　　对AI的滥用还有一种是用它来帮助设计大规模杀伤武器。Anthropic说他们 检测到有人试图用他们的AI模型设计生物武器。要搞生物武器，不需要AI，有AI 之前早就有生物武器了。只不过用AI可以让研发的速度加快，也有可能让武器的 威力变得更强大。 　　但是关于AI 究竟有没有危险性，危险性究竟有多大，不只是AI业内人士有 不同的看法，政界也有不同的看法。Anthropic的CEO之所以要写那篇文章，其中 的一个目的是希望美国联邦政府能够将AI管起来，但是美国政界在这个问题上有 不同的看法。民主党倾向于要管，共和党倾向于不管。川普说了，认为AI有危险 是中国搞的骗局，目的是要让美国放弃研发AI，中国就可以在AI的竞争中获胜。 川普还说，对于AI，不需要有任何管控，不需要有护栏来约束它，唯一需要的护 栏是一个聪明的高智商的总统，也就是他。既然“伟大领袖”开了金口下了命令， 共和党政客一个一个地跳出来说，对于AI不需要管控，要管也应该让AI的公司自 己去管好了。 　　即使以后民主党上台，将美国AI的研发管起来，那也管不了别的国家，特别 是管不了中国。中国政府发言人说了，美国之所以在宣扬AI危险性，是试图要打 压中国的AI研发。中国搞AI的都在骂Anthropic的CEO，说他是一个伪君子、岳不 群，想要阻挠中国AI的研发。DeepSeek（深度探索）有一个工程师写了一篇文章， 号称他们是怀着共产主义的远大理想，在跟美国竞争AI，把它比作是二战时期盟 军要抢在希特勒之前研发出原子弹，将自己比作盟军，将美国比作希特勒。如果 美国AI的研发速度变慢或者暂停了，中国是不会跟着变慢、暂停的，而是会趁机 迎头赶上，超过了美国。作为第二是没啥发言权的。那个时候美国再讲要管控AI， 速度要变慢，中国更不会听了。 　　一个威力很强大的新生事物出来之后，人们总是会担心它会不会带来什么严 重的后果，会有什么样的危险。有时候这是过于担心的。例如，在遗传工程刚刚 面世的时候，很多人担心以后遗传工程是不是会搞出什么怪物、超级病毒、超级 细菌，将人类灭绝了。当时分子生物学家还为此开会讨论要怎么样管控遗传工程。 几十年过去了，回头来看，就会觉得当时的担心是过度的。以前计算机病毒非常 猖獗的时候，也有很多人担心会不会搞得世界大乱。现在还有多少人会如此害怕 计算机病毒？只是让那些杀病毒的发财了。 　　对于AI失控和滥用的问题是值得重视的，危险性的确存在，不能掉以轻心， 但是也没有必要过度担心，去宣扬末日论。比AI可能带来的危险要大得多的，能 给全世界造成重大灾难的东西早就有了——核战争，全球气候变暖，这才是更现 实的，更迫切的，更需要去解决的问题。 　　2026.9.17.录制 　　2026.10.1.整理 (XYS20261018) ◇◇新语丝(www.xys.org)(xinyusi.org)(groups.google.com/group/xinyusi)◇◇