今天看到“人工智能没有欲望，只有人工智能管理人类社会才能实现大同社会”这句话，想听听大家怎么说？ 第1页

人工智能是否有欲望

关于这个问题，其实并不能用人类欲望的概念来评价人工智能。毕竟人工智能「没有那种世俗的欲望」

不过从技术上说，人工智能也是有自己的「欲望」的，而且很具体，那就是损失函数（loss function）。

损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度，通常表示为L(Y, f(x))的一个非负的浮点数。通俗的讲，就是预测和现实的差距。

除了损失函数，还有评价指标。例如准确率Accuracy。但是Accuracy函数本身不可导，所以一般选择一个可导的损失函数，例如交叉熵。有了损失函数，模型才能训练。

太学术化了，作为外行不好理解？我这里打个比方吧：

• 评价指标：你高考所在省份名次。
• 模型训练：你在努力刷题，减少你的能力值和考一本需要能力值的差距。
• 损失函数：你在每次月考和模拟考的分数。

这样好懂了吧。那么考考你，评价指标和损失函数有什么关系呢？答案就显而易见了。简单的说，评价指标指导了损失函数的选择。具体怎么指导？上面那个比喻我再说得详细点吧，如果你是理科生，所以你的损失函数会给理科更高权重，文科权重更低；类似的，如果你是文科生，所以你的损失函数会给文科更高权重，例科权重更低。权重高的科目，复习时间越多。

再举一个例子，带一点技术的，让你对此认识更深些。例如一个医院要开发个AI来诊断患者是否有癌症，平均来说，100位病人里只有一位患癌，如果你选择准确率accuracy来做评价指标，如果这个AI的准确率是99%， 你觉得这个AI是不是很准确？错了！事实上你盲猜大家都没癌症，准确率就是99%，这个数字非常好看，但有什么意义呢？真正需要帮助的癌症病人根本一个都没被检测出来！！！所以在这种情况，准确率并不是合适的评价指标。而评价指标这个东西，就是人的欲望。当人的欲望出现了偏差，自然人工智能的输出结果也会偏差。

看到了吧，我们设计的所谓「无欲望的人工智能」，其实是人类欲望的体现。

当然，有的人会说，损失函数这个说法是机器学习领域的，人工智能不应该局限在机器学习领域。

诚然，这种说法没问题，但现实情况是机器学习依然是核心。不敢说遥远未来的人工智能会如何，但可见的未来，基于机器学习的人工智能依然是主角，即使不是主角，也是绕不过去的组成部分。至于人工智能里的「规则」，「推理」等部分，我们一直都用来管理社会啊。法治不就是基于规则的一种方法吗。从这个角度来说，法律可能也算人工智能的一部分。当然，这样说就有点牵强了，毕竟使用者还是人类而不是计算机。

人工智能管理人类社会才能实现大同社会”？

人工智能能够辅助人类管理社会，但把管理权全部交给人工智能，那是不负责任的。例如在 @lokinko 的回答里，提到三点，讲得非常透彻：

1. AI公平性。自带偏见（bias）的数据集导致常规的深度学习模型会在预测、识别、推理等过程出现偏见。
2. 对抗样本攻击。通过伪造样本可以骗过人工智能模型。
3. 隐私性。GPT-2被套出大量隐私
   

除此之外，我还想补充几点：

• 当对AI对训练集的严重依赖，也会引发有害的回音室效应，系统最后是被自己之前产出的数据所训练的。用现代流行的词语说，就是「信息茧房」。信息茧房不仅仅不会帮助实现社会大同，还会造成社会割裂。关于信息茧房具体能产生（或者产生了）什么危害，可以看看我另一个回答：

• 现代机器学习严重依赖于大量训练集的精准细节，如果将这样的系统应用于训练过的特定数据集之外的全新问题，就没法用了。例如当年微信这个翻译bug，微信解释到是因为「翻译引擎在翻译一些没有进行过训练的非正式英文词汇时出现误翻，导致部分语句翻译出现问题」

以上观点参考了《如何创造可信的AI》一书第二章，并补充了例子以方便读者理解。

可见，现在的人工智能，别说要管理人类了，人类还得管着它，当它变成人工智障后还得人类来擦屁股。当然，不否认人工智能造福人类的一面，但要管理人类？我可不放心。

总结：没有乌托邦

由于人工智能是人类欲望的体现，而且存在各种问题，所以我认为，「人工智能没有欲望，只有人工智能管理人类社会才能实现大同社会」这句话并不成立。

接下来要开始讲哲学了（开始升华主题）。

其实，不管有没人工智能，我个人是不相信有大同社会这种乌托邦的，毕竟一家人都未必能做到和和气气，又怎么可能要求整个社会能大同呢？毕竟人类还是具有多样性的，欲望又怎么能统一。如果AI会思考，它一定会觉得：

「人类的悲欢并不相通，我（人工智能）只觉得他们吵闹」

当然，我们可以有一个好的愿景并为之努力（这是我们人生的目标函数），但我们也必须知道，这个愿景我们能持续接近，但永远无法达到。就好像机器学习里的损失函数，模型会通过反向传播来一步步最小化它，但模型很难把损失函数值降至0，如果真降至0了，那就是过拟合（overfit）了。所谓过拟合，简单就是表面上分数完美，但评判对象变换了，分数会骤降。损失函数值为0的模型是脆弱的，同样，完美无暇的世界也是脆弱的，脆弱到甚至不曾出现过一秒钟，因为世界实在变化太快了。

---

  lokinko 网友的相关建议: 
      

现有人工智能的 Fairness（公平性）本来就是一个很大的议题，

人工智能顶级会议（ICML、NeurIPS等）都专门进行了AI公平性研究的讨论。

当我们训练模型时要使用大量数据，

那么这些数据本身就会存在一定的分布特征，例如：

我们所用的训练数据中性别比例、年龄段、种族等属性会不可避免地出现差异[1]，

又或者数据采样中无意或有意地引入了偏见，

在美国和南美的医院分别收集5万条医疗数据，对比发现美国的病人存活率更高（医疗条件和经济条件影响），因此当模型预测黑人的存活几率时会显著低于白人。

由于这些自带偏见（bias）的数据集，

常规的深度学习模型会在预测、识别、推理等过程出现性能不一样的情况。

---------------------------

此外，要实现人工智能管理社会，还要保证不会被恶意攻击^[2]

因为，人工智能很好骗的！

这种技术叫做对抗攻击（Adversarial Attack），通过程序给图片加上一副眼镜架；给熊猫加上一些人工根本发现不了的干扰；给路标涂涂改改就能轻易骗过人工智能的识别。

想想未来你家里的门禁用人脸识别，结果人家戴个眼镜就能随意进出你家门；

在你家附近的路标上涂涂画画，自动驾驶的汽车就使足马力往墙上撞；

......

除开这种骗过模型的attack以外，另外还有一种针对人工智能的研究 backdoor attack^[3]，

就是在人工智能训练过程中插入“后门”，就像催眠小说里那样，

当你含有某些 backdoor key 的关键词后，就能绕过或者屏蔽掉人工智能的检测。

人工智能如果在管理人类社会中被植入了这样的“后门”后果更是不堪设想。

此外，机器学习过程中会出现对长尾数据的过拟合，特别是一些独特的数据组合会形成“记忆”，导致当触发某些词后，它会按照“记忆”给出对应的信息，从而被“骗”出训练集里的隐私数据信息。

用户通过攻击手段从人工智能里套出别人用户的数据样本^[4]，导致不同程度的隐私问题。

在审视人工智能本身的时候，我们很难发现它们具有哪些奇怪的地方被动了手脚，其中蕴含着巨大的风险，在未解决它们的 公平性、安全性、隐私性和可解释性 等关键问题前，还不能以其为主要管理手段。

世上没有绝对的公平。

参考

1. ^Joy Buolamwini, Timnit Gebru. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
2. ^Shilin Qiu, Qihe Liu, Shijie Zhou and Chunjiang Wu. Review of Artificial Intelligence Adversarial Attack and Defense Technologies https://www.mdpi.com/2076-3417/9/5/909
3. ^Yansong Gao, Bao Gia Doan, Zhi Zhang, et.al. Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review https://arxiv.org/pdf/2007.10760.pdf
4. ^Ligeng Zhu, Song Han. Deep Leakage from Gradient https://link.springer.com/chapter/10.1007/978-3-030-63076-8_2