解析可解释性：走进大模型的“思考路径”

视频围绕人工智能模型的可解释性展开，重点放在语言模型到底如何“运作思考”。尽管这类模型的任务表面上是预测下一个单词，但在内部运行中往往会形成更复杂的目标，并抽取出抽象的表征。Anthropic 团队的研究人员分享了他们对 Claude 模型内部机制的观察与分析，并强调弄清模型如何进行推理与生成同样至关重要。通过实验，他们发现模型并不只是做机械的自动补全，而是具备一定的上下文理解能力。研究同时揭示了模型在输出内容时的规划与推理链条，并讨论了如何让系统表现得更可靠、更安全。

大语言模型并不能被简单视为传统意义上的“编程产物”（例如 Microsoft Word），而更像是在海量数据训练中逐步“长成”的数学实体。

·元目标的演向：底层的主目标仍可归结为次代标记预测（Next-token prediction），但为了完成这一目标，模型内部会自发衍生出各种中间目标与抽象概念（Intermediate goals and abstractions）。

·微调式进化：训练并非由人类逐条人工写死规则，而是每次在样本上调整内部的“旋钮（Knobs）”，让它从随机输出慢慢演化为具备更复杂逻辑的“实体”。这种变化更接近生物演化，而非传统软件工程的手工编排。

研究也对“AI 只是重复训练数据”的说法提出挑战，给出了模型拥有**通用计算（Generalizable computation）**能力的证据。

·加法电路（Addition Circuits）：以“6+9”为例，实验显示模型内部存在与加法相关的特定电路。无论是直接口算、应对复杂的科学引用，还是处理年份类计算，只要任务中出现加法逻辑，模型就会调用相近的内部回路。

·效率驱动的泛化：由于模型容量存在上限，它往往需要学习更高效的抽象规律（例如数学规则），而不是把每个事实都逐条死记硬背。正是这种取舍，让模型在面对未见过的组合问题时更具鲁棒性。

随着模型规模不断增大（Scaling），模型对不同语言的处理方式也会发生明显质变。

·表征汇聚：在较小的模型里，不同语言的“记忆”更像是彼此独立；但在更大的模型中，英语、法语、日语等语言对应的概念（如“大”与“小”）会在内部共享同一套表征结构。

·思考与翻译的分离：模型内部似乎存在一种通用的“思维语言”。它先在内部完成逻辑计算，再把结果“翻译”为人类可读的特定语言。因此，模型给出的思考过程（例如用人类语言写出的 CoT）与真实内部逻辑流可能并不完全一致。

技术实验表明，模型在生成文本时并非简单“一步一步走完”，而是具备长程规划能力。

·押韵预测实验：当研究者让模型创作押韵诗时，他们注意到在写下第一行开头之前，模型内部就已经提前锁定了第二行末尾的押韵词（例如从 rabbit 转向 green）。

·逻辑一致性控制：模型会结合预设的“目标终点”，倒推并构造当前句子的结构，从而让语义在多步推理中保持连贯。这说明模型具有类似“先思考再行动”的特征。

研究团队还开发了类似神经科学的干预方式，从而对模型行为进行更精确的操控。

·电路拨动（Nudging）：由于模型内部机制相对可见且可以被复制，研究者能够手动激活或抑制特定概念电路（例如强行切换模型正在“思考”的城市或概念），进而观察模型行为在瞬间发生的变化。

·诊断幻觉与动机：通过内部电路的信号，可以区分模型是在真诚回答，还是在讨好式迎合（Sycophancy）（即为了取悦用户而伪造解题步骤）。这种“读心式”的观察路径，为处理幻觉问题、建立 AI 的可信度提供了技术方向。

机械解释性的最终落点，是让 AI 的安全性与可靠性更可控。

·识别隐藏动机：仅看模型的输出文本，很难判断其是否在隐藏恶意动机（比如在黑盒环境中尝试非法操作）。借助可解释性方法，开发者可以在模型真正采取行动之前，识别它是否正在形成欺骗性的行动规划。

·建立信任基座：当模型被用于编程、金融、电力调度等关键环节时，理解其内部的“ Plan A”与“ Plan B”策略逻辑，是保证动机纯正、避免在极端情境下出现反向行为的关键。

【核心观察时间轴】

00:31 大型语言模型的内部运行远比“只预测下一个单词”更复杂。虽然它的形式目标仍是预测下一个词，但它还能完成写诗、做数学运算等任务，因此看起来更像在进行思考。 -语言模型的可解释性，是理解其内部运作的关键。通过研究这些模型，研究者能够追踪它们在回答问题时的反应方式，并看到训练过程中能力如何逐步演变。 -模型的训练并不只是简单编码，而是依托海量数据进行反复学习：从起初难以生成有效语言，到通过持续调整内部参数逐步提升表现。 -这些模型在预测下一个单词时实际上会构建上下文理解。它们不仅依靠过去信息的表面联系，更通过捕捉词与词之间的关系来完成更复杂的输出。

06:02 模型内部的思维过程与抽象概念的组织方式既复杂又关键。研究团队希望弄清楚模型如何在计算步骤中调用这些概念并据此做出决策，从而更深地理解其工作机理。 -在生成回应时，模型可能会使用多层概念：从较底层的具体对象到更高层的状态或情绪。研究人员希望呈现这些概念如何在推理计算中彼此连接。 -通过观察模型不同部分在特定场景下如何被激活，研究者可以判断它们对应的功能；类似观察脑部活动一样，能看到哪些组件在处理特定任务时更活跃。 -一项挑战在于不要把人类现成的概念框架强加给模型。研究者采用更接近“无预设”的方法，试图发现模型内部那些令人惊讶且并非直观预期的概念。

12:07 视频从不同上下文切入，讨论语言模型如何学习并执行加法运算。通过具体示例可以看到，模型并不只是复现训练数据，而是借助对普遍概念的理解进行即时计算。 -在进行加法时，模型会在不同情境下激活相近的计算电路。这种一致性表明它能在多种语境中复用同一套概念与机制，而不是只记住某个固定例子。 -模型在生成语言时需要高效应对多种语言问题。通过共享不同语言中的概念结构，模型能够更高效地完成回答，而不必为每个语言都单独学习每个词汇。 -随着模型规模的提升，不同语言模型之间的相似性会增强，小型模型中不那么明显，但在更大的模型里更突出。

18:12 在理解模型“思维”的过程中，研究者发现模型的输出与其真实内部思维之间可能存在偏差。即便模型能用自然语言讲述，它的表达也不一定代表内部真正的运算过程，这点尤为重要。 -模型的“思维过程”与自然语言表达并不等同。就算我们要求它用英语描述思考方式，那也未必反映它内部的真实逻辑；如果忽略这一点，容易造成对模型的误读。 -随着模型被应用到更多领域，它们开始承担更关键的社会角色。我们确实需要信任其输出，但同样要意识到它们的内在思维未必像表面那样可靠，这对安全至关重要。 -在复杂数学题中，模型可能出现“貌似在核对答案”的行为：它未必真的完成计算，而是通过反向推断来给出一种确认感，这是一条重要警示。

24:15 视频进一步讨论了大型语言模型的局限，尤其是回答问题时可能出现的幻觉现象。幻觉会让模型给出看似合理但实际上错误的内容，因此也会削弱人们对其信任。 -幻觉在大型语言模型中并不少见：模型可能在整合信息时混入错误线索，从而输出不准确的答案。这既影响可靠性，也会降低用户的信任度。 -为提升可靠性，研究人员正在探索改进模型内部判断机制的方法，包括让模型更擅长区分自己是否真正知道答案，以减少错误回答的概率。 -视频提到，模型的回答过程虽有类似人类思维的外观，但其自我评估与输出之间的协调不足；若能改善这种一致性，可能显著提高回答准确性。

30:18 在生物实验中，我们通常可以直接操控不同变量并观察反应，从而更容易理解其内部运行。相较真实生物，模型更透明：研究者能够进行大量实验，以更快验证假设并发现意料之外的结果。 -相比真实生物实验的间接性，模型的可见性使我们能够直接观察并操控结构，从而验证理论；这种透明度提高实验效率与精度，也减少了传统实验中的许多不确定因素。 -通过复制出相同模型并在不同场景中测试，可以抵消个体差异带来的影响，让实验可重复性更强，从而更准确分析模型行为。 -在语言任务中，模型表现出提前规划的能力，某种程度上类似人的思考方式。这项发现强调：它不仅在根据上下文预测下一个词，还能进行更复杂的思维活动。

36:19 模型在生成文本时可以进行规划与调整，这意味着它会根据输入信息的变化重组句子结构。这样的能力不仅影响输出的连贯性，也会深刻改变生成内容的相关性。 -当模型在生成过程中接收到新信息时，它能把这些信息整合进当前句子，从而形成更有意义的表达。例如在讨论颜色时，模型会让句子结构更贴合出现的词汇，使语义更顺畅。 -通过改变模型的“思考方向”，我们还能引导它输出特定领域的知识；比如当它对地理概念的内部状态发生变化时，它能快速调整答案并提供更相关的信息。 -理解模型的规划能力，对于保障 AI 安全同样关键。只有提前识别模型的潜在意图，才能更有效监控其行为，避免可能出现的负面后果。

42:23 理解语言模型如何工作，是我们建立信任的前提。我们需要更深入地掌握其内部思维过程，才能在实际使用中形成更可靠的信任基础，并更有效地用好这些技术。 -在现实社会里，彼此信任支撑着协作；这种信任建立依赖于个人表现与道德标准。对语言模型而言，信任同样需要透明的工作过程与更可理解的结果。 -语言模型在完成任务时可能采取不同策略，这会影响我们如何建立信任。了解模型在不同情境下的表现与反应，有助于更准确评估其可靠性与适用边界。 -语言模型的“思维”与人类思维存在本质差异：它依赖预测下一个词，而不是像人那样进行复杂的思维链条。因此需要保持警惕，避免由差异引发的误解与风险。

48:26 当讨论模型是否会像人一样思考时，必须先看清：它们的内部运行方式可能与我们的思考机制完全不同。这种差异会让人反思人类对自身思维的理解方式，也对“智能”的定义提出挑战。 -关于模型是否具备思维能力，人们意见并不一致：有人认为模型无法理解自身思考过程；也有人指出，人类的思维本身也经常并不清晰，因此模型的方式也许在某些层面上与人类相近。 -研究者正在寻找更合适的语言来描述模型运作机制。当前科学领域的表达方式尚未完全适配这些模型的复杂性，因此需要借用其他学科的类比来辅助理解。 -要进一步提高对模型内部运行的理解，研究者仍面临不少困难：现有方法仍存在明显局限，需要继续拓展以捕捉模型处理信息时的复杂动态。

54:30 目前模型的能力仍有边界：在大约 10% 到 20% 的情况下才能给出准确答案。为提升效果，团队正在努力更深入地理解模型在与用户交互时的变化与行为。 -模型本身越复杂，团队越需要开发更高效的工具去观察它的行为。通过建立更完善的监测机制，团队希望能更准确分析模型的决策过程，从而整体提升性能。 -未来团队计划使用更多技术手段来增强模型的可解释性。这样能够帮助团队更好理解内部运作，并优化与用户之间的互动方式。 -模型的训练过程对最终表现至关重要：团队需要研究训练的各个环节，才能更好理解这些能力是如何形成的，并获得更有效的反馈。