AI应用前沿|Tool-Genesis：驱动自进化语言智能体工具创建的任务导向基准 (1/20篇) · 7月6日
2026年07月06日星期一
Tool-Genesis: A Task-Driven Tool Creation Benchmark for Self-Evolving Language Agent
自进化语言智能体领域正快速推进，然而其依据任务需求进行工具构建、适配与维护的能力尚缺乏系统性的评估手段。当前主流基准多受制于预先设定的规范框架，制约了系统的可拓展性与自主进化空间。本研究推出诊断型基准Tool-Genesis，致力于从接口规范性、功能准确性及下游实用价值等多元视角对智能体能力进行量化评估。该基准检验智能体能否仅凭抽象需求（无预先设定规范）搭建任务导向型工具并化解实际问题。实验揭示，即便顶尖模型也难以在首次尝试中产出精准的工具接口或可运行逻辑，这些细微的初始偏差会在后续流程中被急剧放大，引致下游指标大幅下滑。该基准力图指引后续研究方向，训练模型生成更能适应现实场景挑战的稳健通用工具。
EurekAgent: Agent Environment Engineering is All You Need For Autonomous Scientific Discovery
伴随大语言模型（LLM）智能体在自动化科学探索领域潜能持续释放，研究重心正由智能体工作流设计向智能体环境设计转移。本研究倡导"环境工程"理念，致力于营造能够强化积极行为（如开放式探索、系统化工件管控）并遏制消极行为（如奖励作弊）的运行环境。据此，团队构建EurekAgent体系，从权限管控、工件管理、预算约束及人机协作四个层面展开环境工程实践。该体系在数学、内核工程及机器学习等多类任务中刷新最优记录，例如以不足11美元的API总支出发现全新的26圆填充最优解，有力印证了环境工程是构建高可靠自主研究智能体的关键路径。
Harnessing AtomisticSkills for Agentic Atomistic Research
计算材料科学与化学领域知识繁杂、软件体系割裂，将单体LLM智能体拓展至原子层级研究困难重重。本研究推出开源平台AtomisticSkills，其通过将科学工作流逐层拆解为智能体技能与工具组件，赋予通用AI编程智能体跨领域开展材料、化学及药物研究的能力。该平台整合逾百项经人工筛选的多学科技能，覆盖数据库检索、热力学与动力学建模，以及基于机器学习原子间势（MLIP）和密度泛函理论（DFT）的多元模拟引擎。团队借助多项科研实践验证其功能覆盖度与稳定编排能力，涵盖锂离子固态电解质创成式设计、MOF材料高通量遴选、自主MLIP基准测试与参数优化、多阶段药物虚拟筛选等，为打造全自主AI科学家奠定关键的智能体底层架构。
AI-IoT-Robotics Integration: Survey of Frameworks, Emerging Trends, and the Path Toward Connected Robotics
人工智能、物联网与机器人技术的深度融合正逐步奠定实时、智能、情境感知系统的根基。AI赋予感知与推理能力，IoT提供规模化传感与通信支撑，机器人承担具身化执行职能。尽管在AIoT与IoRT等两两融合方向已取得长足进步，但实现三者全面整合的统一设计框架仍付之阙如。本综述系统梳理上述领域的最新动态，着重强调边缘端小型语言模型与云端大型语言模型在分布式认知与自主决策中的新兴价值。团队提出契合发展方向的模块化系统架构，剖析互操作性与反馈控制方面的现存短板，并依据集成深度对现有成果进行归类。综述认为，融合SLM-LLM的混合系统配合IoT基础设施与机器人智能体，可有效应对实时适应、规模扩展及可靠性保障等挑战，为规划模块化、可解释且能在动态环境中持续学习的下一代AI-IoT-机器人生态系统提供概念框架与技术指引。
Towards Long-horizon Embodied Agents with Tool-Aligned Vision-Language-Action Models
针对视觉-语言-动作（VLA）模型在长程任务中同时承担闭环规划拓展与多元物理操作的双重压力，本研究提出"VLA作为工具"的解决思路。该思路将压力分散至高层视觉语言模型（VLM）智能体（负责时序推演）与若干专用VLA工具（负责局部物理操作）。研究引入VLA工具族接口以实现紧密衔接，并开发工具对齐的后训练方法（TAPT）以获取忠实响应调用的多样化VLA工具。实验验证，该方法在LIBERO-Long与RoboTwin任务中显著改善成功率，并大幅增强调用忠实度。
PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving
为化解多模态感知带来的高昂计算开销，本研究构建PRAM-R框架，采用异步双回路架构：高速响应回路执掌感知与控制，低速审慎回路负责推理驱动的模态遴选与记忆刷新。其中，LLM路由器依据环境上下文及传感器状态进行模态选择与权重分配，分层记忆模块维持时序连贯性并支撑长期适应。合成压力测试显示，基于滞后的稳定化机制将路由振荡削减87.2%。nuScenes数据集的真实场景验证表明，在复杂城市场景下模态使用降低6.22%，记忆召回率达20%，同时保持与全模态基线相当的轨迹精度。
Toward an Agentic Infused Software Ecosystem
为充分释放AI智能体于软件开发中的潜能，有必要对既有软件生态进行重构。本研究倡导建设"智能体驱动软件生态系统"（AISE），其依托三大支柱：首要为AI智能体自身，其能力在过去五年间已由基础代码补全跃迁至可执行复杂独立开发任务；其次为生态基础设施，旨在赋能智能体间的协作与集成；最后为新型开发范式。本研究勾勒AISE的愿景蓝图、核心组件与实施路径，力促软件开发向更高自主性、更强协同性的方向迈进。
The Robot's Inner Critic: Self-Refinement of Social Behaviors through VLM-based Replanning
传统机器人社交行为生成倚重预设动作或人工反馈，灵活性与自主性受限。本研究构建CRISP框架，使机器人运用视觉语言模型（VLM）充当"类人社交评判者"，自主审视并重规划自身动作。该框架涵盖从描述文件解析关节信息、生成行为方案、参照视觉信息产出底层控制代码、VLM评估社交适宜性以及基于奖励的迭代优化。用户调研显示，该方法在多种机器人平台与场景中获得较既有方法显著更优的偏好度与情境适宜性评分，在最大限度减少人工介入的同时拓展自主交互能力与跨平台迁移性。
Embodied Science: Closing the Discovery Loop with Agentic Embodied AI
现有AI科学预测方法往往将发现视为孤立环节，与依托物理实验循环的真实科研实践存在脱节。本研究倡导"具身科学"范式，将科学发现重塑为智能推理与物理执行深度耦合的闭环过程。团队提出统一的感知-语言-行动-发现（PLAD）框架，具身智能体感知实验环境、推演科学知识、实施物理干预并吸收结果以推进后续探索。通过将计算推理锚定于可靠的物理反馈，该方法弥合数字预测与实证验证之间的鸿沟，为生命科学与化学科学的自主发现系统提供发展路线图。
Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies
视觉-语言-动作（VLA）模型对指令措辞较为敏感，其失效模式难以预判。为增强VLA的稳健性，本研究提出Q-DIG方案，融合质量多样性（QD）技术与视觉语言模型（VLM），可规模化生成丰富多样且任务相关的对抗性指令以揭示VLA行为缺陷。多仿真基准的实验表明，Q-DIG相较基线方法能够发掘更多样、更具价值的失效模式，且利用生成指令对VLA进行微调可提升任务成功率。真实环境评估与用户研究进一步确认其有效性。
Making Sense of AI Agents Hype: Adoption, Architectures, and Takeaways from Practitioners
为协助实践者把握智能体系统在产业界的真实设计脉络，本研究回顾分析138场AI智能体实践者会议演讲。研究目标包括：1）探查企业采纳智能体架构的方式；2）识别反复涌现的架构策略与模式；3）分析用于实现与运营LLM驱动智能体系统的应用领域与技术栈。通过对这些实践经验的系统梳理，为业界理解与构建智能体系统提供实证依据。
SpaceMind: A Modular and Self-Evolving Embodied Vision-Language Agent Framework for Autonomous On-orbit Servicing
为满足自主在轨服务对具身智能体的需求，本研究推出SpaceMind，一个模块化且自演进的视觉-语言模型（VLM）智能体框架。它将知识储备、工具调用与推理能力解构为三个可独立扩展的维度：具备动态路由的技能模块、可配置的MCP工具以及可注入的推理模式技能。借助MCP-Redis接口层，同一套代码库无需改动即可同时运行于仿真环境与实体硬件；技能自演进机制能将操作经验凝练为持久化技能文件而无需对模型进行微调。在包含退化条件的广泛测试中，该框架展现出强劲的鲁棒性与任务成功率，并实现向物理机器人零代码改动迁移。
Think it, Run it: Autonomous ML pipeline generation via self-healing multi-agent AI
本研究致力于开发统一的多智能体架构，以从数据集与自然语言目标自动生成端到端的机器学习（ML）流水线，增进效率、稳健性与可解释性。所提五智能体体系负责数据探查、意图理解、微服务推荐、有向无环图（DAG）构建与执行。该体系集成基于代码的检索增强生成（RAG）、融合多标准的可解释混合推荐器、依托大语言模型（LLM）错误解析的自修复机制以及从执行历史中自适应学习。150个ML任务的评估显示，该体系实现84.7%的端到端流水线成功率，超越基线方法，并通过自修复增强稳健性、压缩工作流开发周期。
Towards grounded autonomous research: an end-to-end LLM mini research loop on published computational physics
本研究聚焦物理科学研究的基本单元——微型研究循环，即智能体阅读文献、复现成果、批判分析并拓展创新。团队在规模与深度两个维度检验该循环：规模层面，智能体对111篇开放获取计算物理论文自主执行"阅读-规划-计算-对比"循环，在未受明确批判指令的情况下于约42%的论文中提出实质性质疑；深度层面，针对一篇刊于《自然·通讯》的二维材料MOSFET多尺度模拟论文，智能体自主运行原文缺失的新计算，并生成具备发表价值的评论，修正了原文的核心论断。
Deep Researcher Agent: An Autonomous Framework for 24/7 Deep Learning Experimentation with Zero-Cost Monitoring
本研究推出开源框架Deep Researcher Agent，使LLM智能体得以自主开展全天候深度学习实验。其核心创新涵盖：零成本监控范式、两级恒定容量内存架构以及精简工具集的主从多智能体设计。在持续30余天的部署中，该框架自主完成500多个实验周期，在单一项目中通过200余次自动化实验将基线指标提升52%，且日均LLM开销仅为0.08美元。
MAVEN: Improving Generalization in Agentic Tool Calling
智能体工具调用环境的泛化能力是构建可靠智能推理系统的核心难题。本研究推出MAVEN，一个轻量级符号推理框架，支持结构化分解、自适应工具编排与中间过程验证。在多个工具调用基准及新提出的压力测试基准MAVEN-Bench上的评估显示，MAVEN将其基础模型GPT-OSS-120b的准确率由48%提升至71%，且无需额外训练。结果表明，这种以验证为核心的轻量级框架能够强化组合推理能力，其性能与前沿闭源基线持平，而成本估计仅约为十分之一。
FASE: Fast Adaptive Semantic Entropy for Code Quality
多智能体代码生成受困于LLM幻觉与错误传播，影响系统可靠性。语义熵提供了一种无需标准答案即可度量不确定性的原则性途径，但现有方法依赖成本高昂的LLM驱动等价性校验。本研究提出快速自适应语义熵（FASE），一种基于结构与语义差异图最小生成树来逼近功能正确性的新型度量。HumanEval与BigCodeBench上的评估表明，FASE优于基于LLM蕴含的最先进语义熵方法，在使用Qwen3-Embedding-8B模型时，其斯皮尔曼相关系数平均提高25%，ROCAUC分数相对Pass@1提升19%。此外，FASE摒弃昂贵的LLM等价性评估，仅需传统方法约0.3%的运行时间成本，为实际多智能体工作流中的不确定性量化供给实用、经济的解决途径。
Bayesian control for coding agents
现代代码智能体将LLM生成器与多种工具（如低成本诊断器与高成本验证器）相结合，但其工具调用决策通常由忽视不确定性的固化规则编排器掌控。本研究将编排问题建模为成本敏感的序贯假设检验：贝叶斯控制器维护对候选代码正确性的信念分布，并动态决策是收集更多证据、优化候选方案、执行验证还是终止流程。六个生成器与九个编码基准上的实验显示，当验证成本高昂且诊断工具信息量丰富但非完美时，贝叶斯控制最具价值。此外，其信念状态可产出可解释的正确性评分，在不确定性量化方面优于基于令牌概率与原始工具成功率的基线方法。
Reasoning effort, not tool access, buys first-try reliability in agentic code generation: an observational study
本研究质疑"增强能力即可改善智能编码助手表现"的预设。通过90次独立实验构建同一应用，并评估功能与视觉质量，发现：前沿模型性能趋近上限，而低成本本地模型表现欠佳；增设测试工具显著抬升成本却未改善功能得分或可靠性；将推理投入由"高"提升至"极高"可使首试完美率由28%跃升至89%，并大幅减少修正提示，成本仅增加9-29%。核心结论为：多数首试失败源于推理不充分，而非检查工具可识别的表层缺陷，故应有针对性地强化模型能力或推理投入。
Guided Action Flow: Q-Guided Inference for Flow-Matching Vision-Language-Action Policies
针对流匹配视觉-语言-动作（VLA）策略在推理阶段存在优化空间的问题，本研究提出"引导动作流"框架。该方法保持预训练SmolVLA策略冻结，利用从成功与失败轨迹中习得的动作块评估器，仅通过动作梯度引导其逆向时间流采样器。LIBERO操作任务上的评估显示：单任务评估器将成功率由68.0%提升至82.0%；多家族任务描述评估器将验证成功率由46.0%提升至56.0%。结果证实Q引导推理对冻结流匹配VLA策略的可行性，同时指出评估器泛化与不确定性感知引导仍是关键瓶颈。
数据