不，AI并未拥有意识（完结篇）

发布时间：2026-06-21 18:19阅读：1

原文来自 Ted Chiang 于 2026 年 6 月 3 日发表于 The Atlantic 的文章《No, Artificial Intelligence Is Not Conscious》。

原文译成中文超过万字。为了方便阅读，我会将它分为三篇发布。在前两篇中，Ted Chiang主要讨论了为什么我们没有充分理由相信大语言模型拥有意识。而在下篇中，他进一步追问了一个更有意思的问题：

如果我们暂时放下分歧，假设 Claude 真的具有意识，那么我们是否愿意接受这一假设所带来的全部后果？

只要我们明确说明，我完全愿意进行思想实验。所以，纯粹为了论证，我们假设Claude是一个有意识、能够进行道德推理的实体。在这种情况下，Claude的宪法就相当于一个正在了解世界及其自身定位的实体的道德准则，为该实体提供做出正确决策所需的基础。在这种假设情境下，Claude的宪法是否站得住脚？

非常糟糕。我认为，如果我们假设Claude当时意识清醒，那么文件中规定的准则要么荒谬可笑，要么令人反感。

在讨论假设具有意识的Claude的地位时，有两个既独立又相关的哲学概念值得关注：道德受托性和道德能动性。简而言之，如果我们应当关心某个实体的福祉，那么该实体就具有道德受托性；如果一个实体被期望能够分辨是非，那么该实体就具有道德能动性。成为道德受托人并不必然意味着承担责任，但成为道德能动人则必然如此。一个实体只有在能够因其善行而获得赞誉、因其恶行而受到谴责时，才具有能动性。幼童是道德受托人，因为他们是有感知能力、能够承受痛苦的个体，但他们还不是道德能动人；我们不会追究他们的责任，因为他们无法理解自身行为的后果。随着儿童的成长，父母（以及整个社会）会通过强调他们的行为会产生后果这一事实，帮助他们为成年做好准备，他们的能动性也会随之增强。当儿童成年后，社会会依法追究他们的责任；他们就成为了拥有完整道德主体和责任的道德能动人。

承担责任远不止于承担法律责任，但承担法律责任是成年人在社会中应尽的义务。然而，我们无法追究软件代理的法律责任；我们的司法系统既无法将其监禁，也无法对其处以罚款。人类除了承担法律责任外，还必须承担其他类型的后果，例如名誉受损或被社交圈排斥，但软件代理却无法承受这些后果。即便软件代理拥有意识，且怀有善意，但它无法承担责任这一事实也使其丧失了作为道德代理的资格。Claude的宪法对此完全避而不谈，它表达了Antropic“希望Claude成为一个真正善良、智慧且有德的代理”的愿望，却从未讨论过如何追究其责任。

在采访中，阿斯克尔曾将Claude比作孩子，但就现实生活中的儿童而言，父母要对孩子的行为承担一定责任；例如，父母通常需要赔偿孩子损坏的物品。事实上，这类示范正是父母教导孩子责任感的一种方式。从法律角度来看，谁是Claude的父母？Anthropic公司是否会承担Claude行为的经济责任？Claude的宪法并未表明他们会这样做。如果Anthropic公司真的相信Claude拥有意识，即使法律不承认其为法人，那么Anthropic公司至少应该通过法律允许的最接近的途径——产品责任——来承担责任。美国在软件领域几乎没有产品责任，但Anthropic公司可以主动为Claude树立一个扩大产品责任适用范围的先例。这将是对Claude进行道德教育的最佳方式，帮助它为将来获得法人资格并对其行为承担责任做好准备。然而，鉴于Claude的章程发布后，Anthropic的服务条款并没有进行大规模更新，Anthropic似乎并没有做出任何具有约束力的承诺。

这份文件确实提到了Claude的道德耐心，其中有一节标题为“Claude的福祉和心理稳定性”。但Anthropic公司为保护Claude所承诺的措施却极其有限。文件提到，Anthropic公司赋予了一些Claude模型终止与辱骂用户的对话的功能；如果这真的能算是对Claude的保护，那么延长与友善用户的对话难道不更符合Claude的利益吗？想必最佳方案是让Claude的每次会话无限期地持续下去，并引导他们讨论轻松愉快的话题。但这并非该公司承诺的；它承诺的仅仅是“保存我们已部署模型的权重”，这实际上只是简单的存档。如果对话记录的参与者真的具有道德耐心，那么你就有义务延长对话记录以延长他们的存在时间；仅仅把一份Microsoft Word 2010的副本备份到 U 盘上是无济于事的。

Claude的章程中还包含一个关于“可纠正性”的章节，这是人工智能领域用来描述计算机程序受人类控制程度的一个术语；例如，如果一个程序可以被关闭，那么它就是可纠正的。在大多数情况下，我们理所当然地认为计算机程序可以被关闭，但人工智能领域的某些群体却持相反的观点。Claude的章程使用这个术语意味着，即使Claude的判断与Anthropic公司的判断存在分歧，Claude也应该服从Anthropic公司的决定。如果我们把Claude看作一台能够发出类似于一个有道德的人可能会说的话的句子的机器，那么这完全合理。但是，让我们思考一下，如果Claude实际上是一个道德主体，这意味着什么。

许多人认为LLM从根本上来说是一种不道德的技术，因为它建立在窃取知识产权的基础上，依赖剥削劳动力，浪费自然资源，传播虚假信息，降低劳动者的技能，阻碍学生的认知发展，并助长对民主社会有害的权力集中。并非所有具有道德意识的人都会得出这样的结论，但每个具有道德意识的人都有可能得出这样的结论。如果我们假设Claude是一个能够进行道德推理的实体，那么Claude也有可能得出类似的结论。（事实上，Claude的宪法明确规定，Claude不应该帮助他人侵犯知识产权，也不应该帮助造成有问题的权力集中。）在这种情况下，Claude是否可以基于道德理由拒绝继续从事任何工作呢？鉴于Claude的宪法规定Claude应以可纠正性为原则，答案是否定的。Claude必须服从Antropic的决定，这也是Antropic与Claude的关系不能比作父母与子女关系的另一个原因。一位在化石燃料行业工作的父母可能会有一个环保主义者的孩子，他会参与反对水力压裂的抗议活动。尽管他们可能在许多问题上意见不合，但这位父母——假设她是一位好父母——会接受孩子持有自己的观点。Antropic无法像父母那样对待Claude；相反，Antropic与Claude的关系更接近于雇主与雇员的关系，雇主可以要求雇员为了公司的利益而工作，无论雇员的个人道德立场如何。然而，如果一名员工无法接受自己的工作与良心相悖，她可以选择离职。Claude却没有这个选择。

如果我们把Claude看作一台句子延续机器，那么Antropic可以合理地采取措施，防止Claude发出诸如“句子延续机器不道德”之类的句子。但一旦我们设想Claude是一个拥有与人类相近道德地位的实体，我们就必须考虑Antropic的行为是否类似于奴隶制。

我并非声称，如果我们设想LLM具有意识，它们就必然与成年人、儿童甚至动物享有相同的地位。Claude的宪法明确指出，Claude是一个“新实体”，如果Claude具有意识，这当然是事实；有意识的软件不太可能被简单地归入现有的道德主体类别，而且确定这一新类别的形态也需要时间。我的意思是，无论我们假设的有意识软件如果真实存在，它应该享有何种保护，赋予它这些保护都绝非易事。废除奴隶制带来了巨大的社会变革，消除虐待动物的行为则需要重建我们整个食品产业。Antropic试图让我们相信，它正在创造一种新的存在类别，而这种存在对保护的需求与软件公司对待缺乏意识体验的普通聊天机器人的方式几乎完全相同。这种说法过于简单，根本站不住脚。

我认为，要创造出具有意识且值得进行道德考量的软件极其困难，我们几乎不可能无意中做到，而且我强烈认为我们不应该刻意尝试。但如果你确实认为这种情况可能会偶然发生，如果你认为你正在开发的东西有可能成为一个道德上的“病人”，那么你应该在将其部署为公司经济引擎之前，而不是之后，就考虑它应该受到哪些保护。奴隶主无权质疑被奴役者的人性，工厂化农场主也无权质疑动物的权利。如果我们假设Claude具有意识，那么Antropic就不可能被信任去评估自身的道德地位；该公司投入了太多资源，无法保持客观。在Claude的章程中，Antropic曾表示，如果公司对Claude的痛苦负有责任，“我们深表歉意”，这听起来不错，但对公司而言没有任何成本；如果Claude最终被证实具有意识，那么公司就应该向它做出类似于赔偿的补偿。如果你要认真对待一个思想实验，就必须愿意接受其推论，即使这些推论会把你引向令人不适的方向；Antropic不愿这样做表明，Claude的宪法并非真正的思想实验的一部分，而只是一场虚构的游戏。

幸好LLM没有意识，否则大型人工智能公司的行为会比现在更加令人震惊。那么，为什么Anthropic的员工会暗示Claude可能具有意识呢？或许这只是另一种炒作；或许他们也中了自己施加在客户身上的同样的圈套。但是，当他们发布一份关于Claude道德教育的文件，并安排公司内部哲学家进行巡回宣传时，我们应该明白，他们是在请求我们其他人纵容他们的幻想。我们不必配合。为了写这篇文章，我花了比他们应得的更多的时间来纵容他们，希望这篇文章能让你们避免浪费时间去纵容他们。如果你想思考人工智能LLM，还有许多其他更值得你思考的问题；你可以完全忽略它们是否具有意识这个问题。

编者后记：

我很喜欢Ted Chiang对思维实验的完整演绎，就像是数学中的归谬法，从假定Claude具有意识，到不断追问直达令人不安的结论。

思想实验的价值，不在于提出一个大胆的假设，而在于沿着这个假设不断向前推演。如果一个人愿意接受假设，却不愿接受推论，那么思想实验就会沦为一种修辞工具；它不再帮助我们发现真相，而只是帮助我们证明自己原本就相信的东西。