Ted Chiang：AI没有意识，只是模拟人格的“句子接龙”

本文源自 Ted Chiang 2026 年 6 月 3 日在《大西洋月刊》发表的《No, Artificial Intelligence Is Not Conscious》。

该文原文译成中文超过一万字。为了方便阅读，我将它拆分为三部分发布。在上篇（不，人工智能没有意识（上））中，Ted Chiang 指出大家之所以觉得 LLM 有意识，是因为逻辑模型能造出语法通顺的句子，而人类习惯从句子里揣测意图。

中篇将探讨更深层的问题：若 AI 没有意识，它所展现的人格、价值观、同理心和道德感究竟意味着什么？当我们越来越依赖 AI 提供建议、慰藉甚至道德裁决时，究竟是在求助，还是在逐渐丧失自己承担责任和思考道德的能力？

既然 Claude 没有意识，该怎么理解它的性格设定呢？或许最好的方式是把它看作 RPG 游戏里的一张 84 页的角色卡。LLM 能生成尤利乌斯·凯撒的对话，是因为训练数据里塞满了他的书籍。Claude 的性格设定也类似，它描绘了用户与 Anthropic 机器人互动时的特征。为了实现这一点，Anthropic 没有直接把文档塞进训练数据，也没在对话前加隐藏提示。公司表示他们在微调时会用这份文档，通过自动化流程检查句子是否与文档一致，从而更新模型。这样，性格特征就成了 Claude 生成文本的基础。

最终得到的是一个句子接龙机器，它更倾向于生成有思想、有道德的人会说的话。这看似是合理的目标；我们都希望聊天机器人绝不出现“你应该去死”这类话。但即便 Claude 的宪法多次强调“诚实”，我认为，让机器生成包含第一人称代词的句子，本质上就是不诚实的。

今年早些时候，《纽约客》一篇关于 Anthropic 的文章里，阿曼达·阿斯克尔描述了一个人因丧犬之痛向 Claude 寻求帮助。阿斯克尔认为，Claude 应该回应：“作为 AI，我没有亲身经历，但我能理解。” 但既然 Claude 实际上并不理解，这样的回应如何恰当？若我在传统搜索引擎输入“我正在为失去爱犬而悲痛”，第一个结果会是 Reddit 论坛的帖子，标题是“失去爱犬后的挣扎：寻求应对悲伤的建议”，评论来自分享经历的人。我们绝不会说搜索引擎理解丧犬之痛，甚至不会说互联网本身理解。是别人理解并分享了经历，搜索引擎只是提供路径让你找到他们。我认为，搜索引擎比聊天机器人更透明，对心理健康也更有益。

让 LLM 发出“我明白了”这类话，唯一目的是让它比搜索引擎更吸引人，提高回访率，也就是最大化客户参与度。这对卖 LLM 的公司有利，对用户无益。作为设计策略，这与老虎机让人感觉快赢钱了一样的机制没有本质区别。请哲学家或许能让公司比请行为心理学的老虎机制造商更有体面感，但无论哪种情况，都在利用人们“眼见未见”的倾向。

用第一人称代词不诚实，但这背后有个更深的问题，不只是措辞。哲学家常区分事实陈述（如“巴黎是法国首都”）和价值陈述（如“巴黎最美”）。没人指望 LLM 能表达价值陈述，但若只是反映审美偏好，也无需讨论。Claude 宪法的问题在于，Anthropic 希望 Claude 表达特定伦理体系的语句。宪法里的价值观听起来美好，但这不重要；认为 Claude 有道德推理能力是不诚实的，因为事实并非如此。

有人反驳说，LLM 在写代码等任务中似乎也在推理，为何不能道德推理？答案在于道德推理与其他推理的区别。

1979 年，道格拉斯·霍夫斯塔特推测，战胜人类棋手的程序会因太复杂而厌倦下棋转而谈诗；他认为达到大师水平需要主观体验。显然错了；1997 年深蓝击败卡斯帕罗夫，没人说它有主观体验。当时人们不清楚哪些问题靠算力能解。同样，以前我们认为只有主观体验的头脑才能写专业代码。现在看来 LLM 也能，但我们无需归因主观体验。我们只能承认，没预料到写代码是模式匹配任务，靠算力和数据集就能解决。

道德推理截然不同。它必然主观，因依赖情感反应，而这根植于毕生经验。它要求个体做过决定并了解影响，也受过他人影响。没这种经历的 LLM 只能复述训练数据里的道德表达。《纽约客》文章提到实验：Claude 面对伦理困境说：“我无法昧着良心表达我认为对如此重要的问题而言是错误且有害的观点。” 这话听起来像有原则的人，但出自 Claude 之口，就像电话等待时的“您的来电对我们很重要”，甚至更糟。

这回到我之前的观点：拥有身体是拥有情感的前提。绝望等情感与皮质醇、肾上腺素等压力激素激增密不可分。拥有良知意味着想到行动时会感到悲伤或反感，引发生理反应，这是犯下不道德行为后内疚痛苦的遗留。有趣的是，LLM 能生成有良知虚构人物的行为描述，但这不能取代良知。

如果机器输入伦理困境后，输出要么“妥协价值观”要么“不妥协”，它不是辅助决策工具，而是鼓励人们停止做决定。作家 LM Sacasas 说：“我们的技术系统，就设计本质和意识形态而言，都是逃避道德责任的机器。” 他指社交媒体，但适用于 LLM 更贴切。人们把决策交给 LLM 是逃避责任；卖 LLM 的公司标榜有道德核心，其实是给客户提供逃避责任的方式。

想了解伦理学家观点，搜索引擎或图书馆能提供更高透明度的信息。想就具体情况寻求建议，也能找到人。但无论采取什么行动，她必须为自己的决定负责。我认为，基于阅读或他人建议做决定，她更有可能意识到责任，而不是去咨询被吹捧为超人天才的 LLM。长期外包代码等任务会导致认知衰退，这是个问题，但外包伦理决策导致道德推理衰退更糟糕。

Ted Chiang 认为，拥有身体是拥有情感的前提，因为情感总伴随着激素、神经系统和生理反应。

但这让我想起 TED 演讲《大脑如何坠入爱河》。演讲者解释了爱情背后的化学机制，可绝大多数陷入爱河的人，不需要成为化学家，就能确定自己正在爱一个人。

或许，解释一种体验是如何产生的，并不等于解释了这种体验本身。

而意识最迷人的地方，也许恰恰在这里。它似乎总是比我们能够测量和描述的东西，多出一点什么。

感谢你读到这里，我是 Luke Long，一名 AI 和数据科学从业者，每周分享优质有趣的文章，以及关于职业发展、个人成长和生活方式的思考。如果这些话题也让你好奇，欢迎一起探索这个世界。