AI与人类价值的博弈：我们该如何抉择

与人工智能共存（译文见文末）

强大的人工智能系统需要与人类价值观保持可靠的对齐，但这是否意味着AI最终必须对这些价值观进行监管？

这已经是AI的十年，一个又一个惊人的成就接连不断。一个能够击败所有人类棋手、甚至所有先前人类编程的国际象棋机器的AI，在仅学习四小时后就能做到这一点？这已经是昨日的新闻，接下来会是什么？诚然，这些非凡的成就都局限于所谓的窄域AI，即机器执行高度专业化任务的领域。但许多专家认为这种限制只是暂时的。到本世纪中叶，我们可能拥有通用人工智能（AGI）——一种能够在人类所能应对的全部任务上达到人类水平表现的机器。

如果真是如此，我们没有理由认为它会在那里止步。机器将摆脱许多限制人类智力的物理约束。我们的大脑以缓慢的生化处理速度运行，所需能量仅相当于一个灯泡的功率，而且其大小还受到人类产道尺寸的限制。考虑到这些障碍，它们所取得的成就令人惊叹。但它们可能离思维的物理极限还很遥远，就像我们的眼睛与功能强大的韦伯太空望远镜之间的差距一样。

一旦机器在设计更智能机器方面超越我们，通向这些极限的进程可能会加速。这对我们意味着什么？我们能否确保与这类机器安全且有价值的共存？从积极方面看，AI已经在许多领域展现出实用性和盈利性，超级AI可能有望变得超级有用、超级盈利。但AI越强大，仔细规范其目标就越重要。民间传说中有许多关于人们提出错误请求、导致灾难性后果的故事——比如迈达斯国王，他可能希望自己触碰的一切都变成黄金，但实际上并不想让早餐也变成黄金。

因此，我们需要创造强大且“人类友好”的AI机器——其目标与我们的价值观可靠地对齐。使得这项任务困难的原因之一是我们自己远远谈不上可靠的人类友好。我们对彼此以及与我们共享地球的许多其他生物做了许多可怕的事情。如果超级智能机器不能比我们做得更好得多，我们就会陷入深深的麻烦。我们将拥有放大人性缺陷的强大新智能。

为了安全起见，我们希望这些机器在道德和认知上都超越人类。我们希望它们追求道德制高点，而不是我们许多人在某些时候所处的低谷。幸运的是，它们足够聪明能够胜任这项工作。如果存在通往道德制高点的路径，它们将比我们更善于找到这些路径，并将我们引向正确的方向。

然而，这个乌托邦式的愿景存在两个大问题。一个是我们如何让机器开始这段旅程，另一个是到达这个目的地意味着什么。“起步”问题是指我们需要足够清晰地告诉机器它们在寻找什么，以至于我们能够确信它们会找到它——无论“它”实际上是什么。考虑到我们是部落生物、对自己理想充满矛盾，这不会容易。我们经常忽视陌生人的痛苦，甚至至少间接地造成这种痛苦。那么，我们如何引导机器朝着更好的方向发展呢？

至于“目的地”问题，通过将自己置于这些道德引导者和守门人的手中，我们可能正在牺牲我们自己的自主性——这是构成人类本质的重要组成部分。比我们更善于坚持道德制高点的机器可能会被期望阻止我们目前习以为常的一些失误。例如，我们可能会失去歧视有利于自己群体的自由。

失去行为不端的自由并不总是一件坏事：剥夺让自己在工厂工作的儿童或在餐厅吸烟的自由是进步的标志。但我们准备好让道德硅基警察限制我们的选择了吗？它们可能做得如此出色，以至于我们不会注意到它们；但我们中很少有人可能欢迎这样的未来。

这些问题可能看起来遥不可及，但在某种程度上它们已经存在。例如，AI已经对我国国民医疗服务体系（NHS）的资源使用有一定的话语权。如果给它更大的角色，它可能比人类能够管理的效率高得多，并代表纳税人和医疗服务使用者行事。然而，我们将剥夺一些人类（例如资深医生）目前享有的控制权。由于我们希望确保人们得到平等对待、政策公平，AI的目标需要被正确指定。

我们正在处理一种新的强大技术——实际上，它本身就是一种新的思维方式。为了我们自身的安全，我们需要将这些新思想家引向正确的方向，并让他们为我们良好地行事。目前还不清楚这是否可能，但如果是的话，它将需要合作精神和放弃私利的意愿。

通用智能和道德推理通常被认为是人类独有的能力。但为了安全起见，我们似乎需要将它们视为一个整体：如果我们要赋予机器通用智能，我们也需要赋予它们道德权威。而这究竟会将人类置于何地？更有理由让我们现在就开始思考目的地，并谨慎地对待我们的愿望。