生成性认知视角下的人工智能探索

作者：Banafheh Rafiee, Richard S. Sutton

本文倡导将生成性（enactive）方法应用于人工智能的感知与认知领域研究。生成性方法将感知理解为智能体与世界之间的主动、技能化互动过程——智能体通过行动来获取感知，通过领悟自身行动如何影响其体验来理解世界。这与传统的被动观点形成鲜明对照：传统观点将感知看作大脑接收感觉信号、处理信息、然后发出行动指令的内部过程。生成性观点则突出感知的动态性、身体性和交互性，其根基在于嵌入环境中的智能体的生活经验。我们识别并发展了四个与人工智能密切相关的生成性概念：经验、行动-感知统一性、自立性和具身性。当代人工智能——从传统的规则系统到大语言模型——在很大程度上忽视了这些洞见，将认知视为脱离身体互动和内在规范性的内部加工。然而，强化学习（RL）通过对行动、智能体-环境交互、反馈驱动的适应以及以智能体为中心的评估的强调，展现出与生成性原则的结构性契合。但这种契合不应被视为理论等同，因为RL只是近似了部分生成性洞见，关键要素仍然缺失或发展不充分。基于此分析，我们建议将生成性思想更广泛地融入主流人工智能和强化学习研究。

译注：本文中的“生成性”（enactive）源自认知科学中的生成主义（enactivism），与“生成式AI”（generative AI）中的“生成”是不同概念。

从认知和感知的生成性视角来看，认知、感知和行动被视为相互构成的（Varela等，1991）。感知既不先于行动，也不单纯是引导行动的工具；相反，它们在与环境的持续交互中共同展开。行动通过调节感觉输入来塑造感知体验，而感知则通过行动模式得以实现。换言之，感知在于掌握我们的身体运动如何产生感觉刺激变化的方式，即所谓的感觉运动偶联性（sensorimotor contingencies）（Noë, 2004）。因此，感知就是熟练地驾驭这些偶联性，理解世界如何通过主动探索而显现自身，而非被动地记录输入数据。

生成性视角与传统的表征主义观点形成对照。在表征主义观点中，感知被界定为一种被动过程：感觉输入通过身体的感受器官传递，并被转化为世界的内部表征。这些内部表征充当环境的替代物，提供一幅内部地图，使系统能够在环境不在场的情况下进行推理和行动（Marr, 1982; Fodor, 1983）。生成性视角反对这一观点，强调与环境持续且即时的交互。在表征主义观点中，大脑扮演中央处理器的角色：它编码感觉信息、操作符号，并基于其内部表征生成行动计划，假设感知主体与外部世界之间存在明确界限，将感知简化为内部表征的准确构建和操作。相比之下，在生成性视角中，感知的恰当性不以表征的保真度来衡量，而以智能体与世界进行技能化互动的能力来衡量。

“生成性”（enactive）一词最早在生成主义（Enactivism）中提出（Varela等，1991），这是认知科学的一个分支，将认知框定为被“生成”的（enacted）而非预先给定的。生成即通过身体化的与环境互动来引出或构成一个有意义的世界。O'Regan和Noë（2001）进一步论证，感知不是发生在生物体身上的事情，而是生物体主动去做的事情。这些工作推动了一个更广泛的研究图景，挑战关于认知的表征主义解释，包括具身和情境方法。具身认知（Clark, 1997）强调了身体在塑造心智中的作用。情境认知（Hutchins, 1995; Lave, 1988）认为认知过程深深嵌入于活动、工具和社会互动中，而非仅仅源于内部过程。

虽然我们借用了生成主义中的“生成性”一词，但本文发展的视角并不局限于该传统。我们汇集了哲学、心理学和认知科学中出现的更广泛的思想。这些方法并非铁板一块，在重要方面存在差异。但它们共享一个共同取向：将认知视为通过主动的、具身的和情境化的环境互动而产生的。因此，我们的目的不是提供一份历史综述，而是阐述一个综合这些相关线索的连贯视角。

生成性思想可追溯至现象学，汲取了胡塞尔、海德格尔和梅洛-庞蒂的思想，他们强调生物体与世界的不可分离性，二者通过持续互动而紧密相连。胡塞尔认为感知不是构建世界内部表征的问题，而是关注事物在生活经验中直接被给予的方式。海德格尔以其“在世存在”（being-in-the-world）概念激进化了这一洞见，拒绝了一个脱离的主体表征外部世界的图景。相反，他强调人的存在根本上是情境性的：我们不是先感知世界然后再解释它，而是已经沉浸在实践性的、有意义的语境中，这些语境从一开始就塑造了理解。梅洛-庞蒂强调身体不是众多物体中的一个，而是世界被体验的媒介，感知依赖于我们身体移动和互动的能力。

在心理学中，相关的生成性思想出现在早期传统中。格式塔心理学提出，感知体验由有机体自身的组织活动所塑造，预示了将感知视为主动的、世界参与性过程的强调（Koffka, 1935）。Goldstein（1939）强调感知、行动和情境的不可分离性，将有机体的行为视为一种整合的、适应性的反应，而非一系列内部计算。吉布森的生态学方法将感知视为本质上依赖于行动：有机体根据它们可以采取什么行动来感知环境，这些行动可能性既取决于情境，也取决于智能体自身的具身能力。这些行动可能性，即“可供性”（affordances），不是环境的固定属性，而是通过与世界的互动而涌现的（Gibson, 1979）。

在此基础上，我们转向我们认为与人工智能研究最相关的生成性思想。我们识别并发展四个关键生成性概念：经验、行动-感知统一性、自立性和具身性，并考察不同人工智能方法如何与它们对齐。我们的讨论跨越两个分析层次：一个来自生成性视角，一个在人工智能系统的计算层次。这两个层次必须区分开来。我们所做的比较是结构性的，旨在识别共享的模式和组织原则，而非声称等价。

生成认知以经验为基础。经验的核心是智能体与环境之间的持续互动，每一方都影响并回应另一方。感知不是一次性地构建一个充当世界替代物的内部模型。任何内部模型，无论多么精密，都无法捕捉世界取之不竭的丰富性和开放性的可变性。世界不是一组固定的特征或一个需要被表征的静态对象；它是一个动态的、不断演化的可能性场域，根据智能体的活动、情境和互动历史而以不同方式展开。换言之，世界是一个持续进行的情境，智能体通过行动与之共同构成（Varela等，1991; Noë, 2004）。因为世界超越了任何有限描述，智能体必须与之保持持续互动，利用实时反馈来调整行动、重新校准期望、精炼理解。在这个意义上，正如Rodney Brooks所说，“世界是自己最好的模型”：最可靠、最新、最精细的信息始终存在于世界本身之中，而非内部替代物中。

在强生成性意义上，经验不仅仅是持续互动，而是技能性的、规范性的和具身的。首先，经验是技能性的：通过互动，智能体获得塑造世界如何向其显现的技能。环境作为一个可供性场域呈现，引导某些活动而抵制另一些。其次，经验是规范性的而非中性的：智能体的行动可以成功或失败，与情境契合得好或差，智能体持续根据这种持续评估调整行为。第三，经验是具身的：它受到身体如何使能和约束可能行动的方式的塑造。在本节中，我们关注经验的持续互动方面；其他方面在后续章节中讨论。

在传统的基于规则的人工智能中，经验在很大程度上是缺席的。在《计算机不能做什么》中，Dreyfus（1992）论证，基于规则的符号系统之所以无法复制人类智能，正是因为它们缺乏经验基础。机器学习通过对以数据为中心的学习引入了对经验重要性的暗示——数据是经验的副产品。然而，它并未完全拥抱经验，因为大多数方法，尤其是监督学习，依赖于人类收集和标注的数据，而非智能体自身通过与环境的直接交互所收集的数据。此外，监督学习将认知视为从固定数据集中学习的一次性过程，而非与环境的持续互动和适应。

相比之下，强化学习（RL）将经验置于学习过程的核心，使智能体能够通过与环境的主动交互来收集自己的数据。虽然RL未能捕捉生成性意义上完整的、技能化的、具身的和规范性的经验，但它通过从行动和反馈中学习，近似了其对持续互动的强调。允许人工智能智能体持续与环境互动并从自身收集的数据中学习的重要性，已由Silver（2025）做了充分阐述。核心论点是，数据必须随智能体能力的提升而持续改进，这一过程只有通过智能体自身的经验才能实现。

一个相关的人工智能研究领域是持续学习，它研究智能体如何从不断变化的数据流中学习，而非从固定数据集中学习。虽然持续学习不一定强调智能体自行收集数据或与环境的持续互动，但它在强调非平稳条件下的持续适应方面与生成性观点相一致。持续学习有许多定义（Abel等，2023; Khetarpal等，2022; Ring, 1997），密切相关的研究领域（Thrun, 1998; Mitchell等，2018），以及可塑性丧失和灾难性遗忘等概念（Dohare等，2024; McCloskey & Cohen, 1989）。尽管存在差异，这些方法共享一个洞见：智能体必须持续学习才能在复杂的、非平稳环境中保持适应能力。持续学习在大世界假说（Javed等，2024）下尤为重要，该假说认为世界比智能体大数个数量级，因此从智能体的视角来看，世界是不断变化的。这一假设呼应了生成性视角：因为世界超越了智能体可以内部捕捉的范围，有效行为要求持续互动，使智能体不断更新其理解和技能。

生成性方法强调行动与感知的不可分离性，将感知视为理解感觉运动偶联性——即行动如何产生感觉输入的变化。例如，视觉体验依赖于掌握视觉输入随眼、头和身体运动而变化的模式，如知道眼睛向左移动会导致视野中的物体向右移动（Noë, 2004）。类似地，听觉感知依赖感觉运动偶联性：头部运动会系统地改变每只耳朵的声学输入，这些时间和强度的变化为定位声源提供了可靠线索（van Dijk, 2016）。触觉感知同样依赖感觉运动偶联性：表面的质地或形状等品质通过手在移动过程中感觉输入的变化而被揭示。精细的纹理根据移动速度和方向产生不同的振动模式，这些是通过主动触摸学习的（Lederman & Klatzky, 1987）。

关键的是，对感觉运动偶联性的强调并不意味着感知仅仅是对这些模式的被动监测。相反，生成性主张更强：感知本身就是一种技能性活动（Noë, 2004）——感知即行动。智能体不是等待输入到来然后内部处理它，而是进行有目的的运动来揭示其环境的结构。智能体常常为了揭示、稳定或理解感知信息而行动，例如通过移动头部来解决场景中的歧义。

在这个意义上，感知被理解为一个反馈循环，智能体对情境的理解和对其的回应随时间不断精炼。随着智能体对情境的把握越来越好，它能够以更技能化、更精细的方式做出回应。情境开始提供更精细和差异化的回应可能性，呈现的不仅仅是笼统的行动可能性，而是以前无法获得的更精确和细致的可供性。智能体更精细的回应反过来通过揭示情境的新方面来进一步精炼其理解。因此，精炼的理解和回应相互强化。这个反馈循环被梅洛-庞蒂（1945）称为意向弧（intentional arc）。

在这个反馈循环中，智能体朝向对情境更连贯的理解，即最佳把握（maximal grip）（梅洛-庞蒂，1945）。在这个过程中，智能体持续调整姿态、注意力和运动，使情境在感知和运动上更加清晰。智能体自然被吸引到更稳定、更清晰、身体与环境更对齐的状态。这通常以流畅而不假思索的方式完成：就像倾身向前以更清楚地看到一个细节，或倾斜头部以分辨一个模糊的声音，智能体以减少不确定性和恢复感知平衡的方式行动（Dreyfus, 2002）。这些精炼不是由明确推理引导的，而是由当前状态偏离最优关系时身体性的紧张感，以及向最优状态靠近时感受到的缓解所引导的。

行动-感知不可分离性在主流人工智能中很大程度上是缺席的，其中感知主要被理解为先于行动。这镜像了表征主义观点，其中感知被视为从感觉输入中被动提取信息，随后用于引导行为。大规模视频生成系统强化了这一观点，在这些系统中，纯观察性学习有时被认为可以在没有主动交互的情况下产生对直觉物理等现象的理解。然而，这类系统的能力仅延伸到世界继续像其数据那样行为的范围。正如Goddu等（2024）所指出的，一个学习了交通灯规律的系统可能准确预测绿、黄、红的序列，但这仅相当于追踪规律性，而非理解该序列如何可以被改变。当灯发生故障、被打断，或需要采取行动改变情境时——如阻止交通、触发行人信号或诊断故障——系统无以为继。相比之下，生成性系统不仅预期通常发生的事情，还能在预期失败时干预、纠正和探索。差异不在于准确度，而在于种类：生成视频模型可以延续一个模式，而生成性系统可以决定在模式中断时下一步该做什么。

与主流观点不同，人工智能的若干分支已经探索了行动-感知耦合。早期工作如Pengi系统（Agre & Chapman, 1987）表明，能力性行为可以从紧密耦合的感知-行动循环中产生，而无需显式的内部世界模型，其中感知直接参与触发行动，而非作为脱离的输入阶段。Ballard（1991）和Whitehead（1990）进一步证明，感知是信息获取的主动过程：通过移动眼睛或身体来收集与任务相关的信息，智能体学习到决定感知内容的控制策略，使视觉依赖于行动策略而非被动编码。情境规划（Chapman, 1989）强调，即使在现实环境中规划也不可与感知分离：计划必须根据感知反馈持续修订，因为可行的行动取决于与环境不断演化的互动，而非预先给定的模型。基于行为的机器人学（Brooks, 1991）在架构层面强调了这种耦合，表明连贯的行为可以在没有集中表征的情况下涌现，正是因为感知和行动分布在相互作用的感知运动例程中，而非分离为顺序阶段。与此同时，预测编码、感知-行动循环和主动推理等形式化理论（Rao & Ballard, 1999; Tishby & Polani, 2010; Friston, 2017）将行为框定为一个统一循环，其中感知和行动被共同组织，无论是通过分层预测误差最小化、信息论优化，还是共享目标下的变分推理。补充这些方法的是若干形式化框架，它们通过使智能体能够预期感觉输入在其行动下如何演化，以及将行动、观察和内部状态视为相互依赖的，来捕捉行动-感知耦合的某些方面。这包括广义价值函数（Sutton等，2011）、预测状态表示（Littman等，2002）、部分可观测马尔可夫决策过程（Kaelbling等，1998）以及世界模型（Ha & Schmidhuber, 2018）。

类似思想也出现在近期工作中。Sutton（2022）引入了STOMP框架，其中智能体学习最大化感知不同方面的子任务。随着智能体在每个子任务上的改进，它也精炼了关于行动如何影响感知的模型，创造了一个精炼的行动导向精炼的感知、反之亦然的反馈循环，呼应了意向弧。Machado等（2023）提出了一个循环，其中智能体对其环境和行为的表征通过持续互动而精炼。随着智能体发展出更好的世界表征方式，它发现了新的行为，这些行为反过来丰富了表征。另一条线索在RL中发展了可供性理论，其中环境约束并暗示可能的行动（Graves等，2022; Khetarpal等，2020）。智能体不是将所有行动视为始终可用的，而是学习在每种情境中哪些行动是被提供的，这镜像了生成感知中选择性的、技能化的回应。

自立性在生成认知中扮演核心角色。智能体不是对外部刺激的被动响应者，而是自我组织系统，其感知由其目标和需求所塑造（Di Paolo, 2005）。这种自立性通常根植于自创生（autopoiesis）概念：智能体是自我产生和自我维持的系统，积极维持自身的组织。因此，感知反映了从生物体持续存续的角度来看对其重要的事物（Jonas, 1966; Di Paolo, 2017）。被感知的不仅仅是存在的事物，而是与智能体自我维持相关的事物。世界不是以中性特征阵列的形式出现的，而是相对于智能体的目标和需求而有意义的（Gallagher, 2017）。

在这个意义上，自立性产生了规范性。因为智能体必须持续将自身维持为一个连贯的系统，它与环境的互动不是中性的；相对于智能体的持续存续，互动可以成功或失败。在这个意义上，规范性源于智能体维持自身组织的需要，而非从外部施加。这种规范结构反过来塑造了对智能体而言什么是相关的。因此，环境不仅以“是什么”的方式被遭遇，而是以“什么重要”的方式被遭遇：什么支持或威胁智能体持续的自我维持。换言之，它服务于约束可能的泛化的巨大空间：在一个万物可以以无数种方式彼此相似的世界中，智能体的目标和需求过滤了哪些相似性是相关的（Dreyfus, 2002）。什么算作相似，不是由抽象的相似性决定的，而是由智能体在特定情境中朝向成功的持续运动所塑造的。

为了分析人工智能中自立性和规范性的概念，有必要区分两个相关问题。第一，智能体是否能评估自身行为，即它是否具有基于自身活动的成功和失败感。第二，成功和失败的标准是源于智能体自身还是从外部施加的。

在大部分人工智能中，尤其是监督学习，这两个方面都是缺席的。系统不评估自身的表现；正确性仅通过与人类提供的标签比较来确定。对于任何给定输入，除非提供外部信号，否则模型无法获知其输出是否成功。因此，评估不是智能体持续活动的一部分，而是完全在外部发生的。此外，成功标准完全由数据集和标注过程外部指定。因此，系统既不自评估，也没有自己的成功标准。这对大语言模型同样成立：虽然使用下一个token预测等自监督目标进行训练，但它们实际上是通过模仿人类生成数据中的模式来学习的，在不将评估外包给外部信号的情况下，无法评估自身的输出。

类似的模式出现在经典符号规划和自动推理中（Newell等，1956; Ghallab等，2004），其中成功由显式指定条件的满足来定义。这引入了成功和失败的概念，但并非根植于智能体的活动。系统不会在行动时评估自身表现；相反，评估仅限于检查预定义条件是否满足，通常是二元结果。在互动过程中没有持续的、分级的表现评估。此外，成功标准是外部施加的：目标被预先指定，作为要达成的固定条件。

在规划和基于控制的系统中，评估变得持续并嵌入智能体与环境的互动中。这些系统跟踪其状态相对于期望设定点、轨迹或成本函数的位置，并通过反馈调整行为。这使系统能够记录偏差并在每一时刻区分其行为相对于目标是否在改善。在这个意义上，系统拥有持续的、分级的成功评估。然而，这种评估仍然与相对于预定义目标的瞬时偏差挂钩，即当前状态与目标匹配的程度。此外，成功标准，如目标状态或成本函数，仍然是外部指定的。

RL标志着一个重要转变：智能体通过经验来评估自身行为。通过与环境交互并接收奖励，智能体可以评估其在整个轨迹上的表现，而不仅仅是当前状态。这使得行动可以根据其后果来评估，包括延迟效应，引入了时间延展的成功概念。控制系统回答“我现在离目标多近？”，而RL回答“考虑到随时间推移导致的后果，这种行为是好的吗？”。在这个意义上，RL捕捉了规范性的一个重要方面：评估嵌入在智能体持续的互动和学习过程中。然而，评估标准仍然通过奖励函数外部定义。

若干工作线试图通过发展更以智能体为中心的评估概念来放松对外部指定标准的依赖。感知-行动循环（Tishby & Polani, 2010）和主动推理（Friston, 2017）都使评估从智能体与环境的持续互动中涌现，无论是通过信息流优化还是通过最小化预期意外。内在动机发展出内部奖励信号，在没有外部监督的情况下驱动探索和技能获取，通常基于学习进步，奖励提高预测或控制环境某些方面的能力（Chentanez等，2004; Oudeyer等，2007; Şimşek & Barto, 2006）。目标发现方法（Andrychowicz等，2017）从经验中构建或重新解释目标，将什么算作成就扩展到外部奖励之外。这些方法朝向更以智能体为中心的评估形式迈进，其中成功标准不再那么僵化地预先固定。然而，生成性意义上的完全自立——规范性源于智能体自身的组织——仍未实现。

生成性感知从根本上说是具身的：身体的形状、结构和能力影响有机体如何感知（Clark, 1997; Thompson, 2007）。更具体地说，感知是对依赖身体的感觉运动偶联性的掌握。感觉运动偶联性不是可以独立于具身性指定的输入输出之间的抽象映射；它们根植于身体的具体能力：它可以执行什么运动，如何探索，以及其感觉系统如何组织。关节结构、肌肉分布和传感器放置等形态因素约束并使能智能体可用的互动形式，并决定了可能的感觉运动偶联性空间。具身机器人学支持了这一主张：改变机器人的物理形态可以显著改变其感知能力（Pfeifer & Bongard, 2006）。因此，身体不是事后添加的可选组件，而是感知得以可能的条件（梅洛-庞蒂，1945）。

具身性结构化了什么算作感知相关的。身体约束了智能体可用的互动形式，因此塑造了环境中哪些相似性作为有意义的而凸显。吉布森的可供性概念捕捉了这一思想：环境的特征仅相对于智能体的身体能力才呈现为“可抓握的”“可攀爬的”或“可通过的”。没有能够执行这些行动的身体，这些区别就不作为有意义的特征存在。这样，身体不仅约束了什么可以被感知，还提供了一种以行动相关的相似性来理解世界的结构（Dreyfus, 2002）。

具身性还通过自创生与自立性相连：一个智能体之所以是自立的，在于它是一个自我维持的系统，持续产生和保持自身的组织。身体在这一过程中不是边缘的；它是这种自我产生得以实现的场所。构成智能体的边界、过程和互动根植于其具身组织。在这个意义上，具身性使自立性成为可能：没有通过与环境的互动来维持和调节自身的身体，就不存在生成性意义上的自立系统。

主流人工智能很大程度上以非具身的方式处理感知。即使在大规模多模态数据上训练，许多系统学习的也是从输入到内部表征的映射，而不依赖于任何感觉运动互动或身体结构。在这种设定下，感知脱离了具身智能体所特有的结构化感觉运动偶联性，而被简化为对静态数据集的模式识别（Bender等，2021; Bommasani等，2021）。因此，这些系统在发展真正的情境化感知或通过主动探索新环境来适应方面仍然有限（Harnad, 1990; Chemero, 2009）。

具身RL和机器人学通常将具身性视为外部约束而非认知的构成性原则。许多机器人系统仍然依赖将感知、规划和控制分离的模块化架构，保留了认知功能的经典分解（Brooks, 1991; Clark, 1997）。在这类系统中，身体主要作为执行预计算策略的接口，而非塑造感知的结构