《2050：未来议程》（2021）问题21：高智能无机生命体为主导的“新星世”会出现吗？ 第1页

不一定。智能机器主导的是人机融合的“新星世”还是人类灭亡的“死灵世”，在能实现这一切的智能机器开动起来之前是无法预测的。

所谓“新星世”来自这本书：

Lovelock 的书可以看，但上面截图里的图书介绍吹得超出了盖亚假说的应有水准，他们对这本书的介绍显然也存在夸大的嫌疑。

“人工智能背后非常重要但容易被忽视的生态思想”在“防止人工智能危及人类”方面并没有多大用。弱人工智能可以在人的要求下服务于灭亡人类的恐怖主义行径，也可以偶然地完成同样的事。

例如机器学习病原体和人体的互动模式，算出潜伏期半年程度、可由候鸟·昆虫等携带、飞沫核传播、人传人基本传染数 12 以上、病死率 100% 的病原体的可能的碱基序列，合成几百种并散布。这需要控制世界各地的各种核酸工厂的一小部分设备，或是购买市面上的相关商用设备，对恐怖组织来说可以暴力劫持相关设备和人员。

• 你考虑一下麻疹病毒的现实传染力、狂犬病毒的现实病死率，这样的病毒大概设计得出来。十九世纪，麻疹病毒对从未接触它的人群刷出过 30% 到 50% 的病死率。

为了对抗这样的危机，需要能迅速发现并紧急对策危机的手段，那大抵也离不开弱人工智能。这些弱人工智能也不是完全安全的，没有绝对安全的系统。

又例如“让机器设计拆解有机污染物的基因工程细菌，效果很好，但该细菌被释放到污染物所在地后意料之外地变得可以拆解人体”。这事可以由各种搞生物科技环保的初创公司建造的弱人工智能执行。

如果你就是想谈强人工智能，来自马德里自治大学、马克斯-普朗克人类发展研究所等机构的研究者于 2021 年 1 月初发表在《人工智能研究杂志》（JAIR）上的一篇文章谈到，由于计算本身的固有限制，人类可能无法长时间控制强人工智能。

• 例如，旨在确保人工智能无法伤害人类的抑制算法必须模拟人工智能可能采取的行为，来预测其行动的后果，在“可能造成伤害”的时候停止运行并报告。可是，抑制算法不可能良好模拟比自己的运算速度更快的人工智能的行为。
• 要是你让抑制算法比目标人工智能还快，你的抑制算法又拿什么去抑制呢。
• 而且，我们可能无法知道自己有没有创造出强人工智能，因为莱斯定理指出“递归可枚举语言的所有非平凡性质都是不可判定的”。我们不能“仅通过观察程序本身，就知道程序可能会输出什么”。

“强人工智能无法被永远控制”似乎是理所当然的。你要不要考虑一下“我们的后代无法被我们永远控制”的问题呢。

目前还不知道如何将人们想要的道德之类教给机器——尤其是在不知道有没有道德的情况下。