自适应智能体研究综述：迈向人工超级智能的演化维度与路径

2025年7月至2026年1月期间，来自普林斯顿大学、清华大学、卡内基梅隆大学、悉尼大学、上海交通大学、宾夕法尼亚州立大学、密歇根大学、俄勒冈州立大学、香港中文大学、复旦大学、香港科技大学（广州）、香港大学、加州大学圣巴巴拉分校、加州大学圣地亚哥分校、爱丁堡大学以及伊利诺伊大学厄巴纳-香槟分校的学者联合发布了题为"自演化智能体研究综述：通往人工超级智能之路上的演化内容、时机、方式与场所"的论文。

大型语言模型（LLM）已在众多任务中展现出非凡的能力，然而其本质上仍是静态的，无法针对新任务、新兴知识领域或动态交互环境灵活调整内部参数。随着LLM日益广泛地应用于开放式交互场景，这一静态属性已成为关键瓶颈，迫切需要具备实时自适应推理、行动与演化能力的智能体。这一从扩展静态模型向构建自演化智能体的范式转变，激发了人们对能够从数据、交互和经验中持续学习与适应的架构及方法的浓厚兴趣。

本综述首次系统且全面地回顾了自演化智能体领域，围绕三个核心维度——演化内容、演化时机与演化方式——对该研究方向进行了系统性梳理。文章考察了智能体各组成要素（如模型、记忆、工具、架构）的演化机制，按阶段（如测试内、测试间）对适应方法加以分类，并剖析了指导演化适应的算法与架构设计（如标量奖励、文本反馈、单智能体与多智能体系统）。此外，作者还分析了专为自演化智能体定制的评估指标与基准测试，重点展示了其在编程开发、教育培训、医疗健康等领域的应用场景，并指出了安全性、可扩展性与协同演化动力学等方面的关键挑战与未来研究方向。通过构建一个用于理解与设计自演化智能体的结构化框架，本综述为在学术研究与实际部署中推进更具适应性、更强大、更稳健、更通用的智能体系统绘制了发展路线图，并最终阐释了实现人工超级智能（ASI）的愿景——智能体能够自主演化并在广泛的任务领域中超越人类智能水平。

如图1所示，沿着这一发展轨迹，智能水平与适应性持续提升，标志着人工智能系统向更高自主性与智能化方向的演进。自演化智能体之后的未来发展方向仍处于开放探索之中，并将持续被深入研究。

如图3所示，自演化智能体在核心维度上的变化特征。"演化内容"维度分解了智能体的关键组成部分：模型、上下文、工具与架构，并展示了演化发生的具体环节。"演化时机"维度区分了测试内自演化与测试间自演化，分别对应于上下文学习（ICL）、监督微调（SFT）与强化学习（RL）三种范式。"演化方式"维度归纳了方法论家族——基于奖励的方法、模仿与示范的方法以及基于种群的方法——以及一些贯穿各章节的维度，如在线/离线、策略开启/关闭、奖励粒度等。"演化应用领域"维度对比了通用部署与特定领域部署（如编程、图形用户界面、金融、医疗、教育）。"评估"维度概述了目标与指标——适应性、泛化能力、效率与安全性——以及相应的评估范式（静态、短期与长期）。整体而言，该分类体系描绘了综述的推理流程：明确演化的内容、时机与方式，为评估与推进自演化智能体奠定基础。

如图4所示，2022年至2025年间若干代表性自演化智能体框架的演化路线图。该图按时间顺序组织了在自主规划、工具使用与持续自我改进等能力方面自演化智能体发展中的主要研究里程碑。

为了明确概念边界，本文引入了自演化智能体的操作性定义。自演化智能体是指能够根据自身轨迹或反馈信号修改其内部参数、上下文状态、工具集或架构拓扑的智能体，其明确目标是提升未来性能。

该定义包含三项纳入标准：（i）更新必须基于经验，由轨迹、自生成数据或环境反馈驱动，专门针对智能体的策略约束或能力边界，而非通用数据合成；（ii）更新必须产生持久的、改变策略的影响，而非短暂的指令遵循行为；（iii）系统必须具备自主探索或自主学习的机制，即便它同时也利用预先收集的数据。为表述清晰起见，本文使用"被动"一词指代仅由外部提供的数据或时间表触发的学习，使用"主动"一词指代自我发起的探索、反思或结构修改（即利用自我反思来收集数据），明确排除静态流水线（如标准蒸馏），其数据生成与智能体的交互历史无关。

随着该领域的迅速成型，无需人工干预的完全自主自演化代表着一种理想目标，而非当前的规范。在本次综述中，作者未设定严格的排除门槛以忽视早期发展，而是分析促进自演化范式的机制，从原始演化（如迭代引导或反馈驱动的提示）到强大的自演化（完全自主的诊断与重新配置），从而全面理解不同方法如何推动范式向完全自主发展的"什么、何时与如何"。

如图5所示，演化时机概述。上半部分展示测试内自演化，其中适应（如变体生成、验证与策略更新）发生在任务执行过程中。下半部分展示测试间自演化，其中学习通过部署、轨迹分析与策略更新进行回顾性演化。

随着时间推移，自演化智能体的研究经历了三大范式——基于奖励的演化、基于模仿的演化和基于种群（population）的演化——每一种范式的出现都是为了弥补前一种范式的不足。基于奖励的方法首先通过显式信号闭合反馈回路，但其脆弱性与高成本是其固有缺陷。基于模仿的学习通过利用高质量示范来稳定演化，但有时会以牺牲探索为代价。基于种群的演化随后将适应性扩展到集体规模，强调多样性与涌现的协调性。综合而言，这些范式勾勒出一条从个体自我改进到集体智能的连贯发展轨迹。

如图6所示，基于奖励的自演化策略概览，将其划分为文本奖励、隐性奖励、内部奖励与外部奖励，每种奖励均与不同的反馈机制相对应。