人大高瓴人工智能学院团队荣获ACL 2026最佳论文奖
2026年7月6日,由中国人民大学高瓈人工智能学院与腾讯微信基础产品团队携手完成的论文 "CURE: Critique-Driven Unified Reinforcement Learning for Test-Time Self-Improvement" 荣获第64届国际计算语言学年会(ACL 2026)杰出论文奖(Outstanding Paper Award)。
论文前三位作者为中国人民大学高瓈人工智能学院博士生陈桂荣、叶舒齐和杨文恺,三人为共同第一作者,通讯作者为中国人民大学高瓈人工智能学院林衍凯副教授。
当前,大语言模型研究正从扩大训练时计算转向扩展测试时计算。扩展测试时计算的一种可行路径,是让大模型在推理阶段对其历史输出进行迭代式的验证与批判,通过多轮自我反思实现持续进化。基于可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR)虽能提升单轮推理能力,但标准方法往往缺少自主改进机制;已有批评引导方法又常依赖更强教师模型、真实标签或其他外部反馈,难以在测试阶段持续发挥作用。
为此,论文提出 CURE(Critique-Driven Unified Reinforcement Learning)框架,在同一策略模型中统一训练模型的推理求解、验证批评和引导式再探索能力,使模型能够形成"求解-验证-批评-再探索"的闭环,在不依赖外部教师或测试标签的情况下持续改进答案。
CURE 的关键设计是让模型先判断当前解答是否存在问题,再生成高层战略性提示并重新规划推理路径。再探索时,模型不再携带完整错误答案,而只保留原问题与提示,从"干净"的上下文重新推理,以降低锚定偏差、避免重复旧错误。训练中,CURE 还会回放再探索产生的成功轨迹,为复杂问题补充有效学习信号。
论文在多个数学推理与代码生成基准上进行了系统评测。结果表明,CURE 在保持有竞争力的单轮推理性能的同时,能够将更多测试时计算稳定转化为准确率提升。
在 Qwen2.5-7B-Instruct 上,CURE 的数学任务平均准确率经迭代自改进由 42.0% 提升至 44.9%;AIME25 经过多轮迭代总增益达到 4.2 个百分点;CodeForces 准确率由 10.0%持续提升至 13.0%。这些结果说明,CURE 能够把模型的额外测试时计算有效、稳定地转化为后续求解收益,为大语言模型的测试时扩展与自主改进提供了有效技术路径。
(ACL 2026杰出论文奖颁奖现场)
国际计算语言学年会(Annual Meeting of the Association for Computational Linguistics,ACL)是计算语言学与自然语言处理领域最具影响力的国际学术会议之一,被中国计算机学会(CCF)列为 A 类国际会议。第64届 ACL 于 2026 年 7 月 2 日至 7 日在美国圣迭戈举行。
论文页面:
https://aclanthology.org/2026.acl-long.1321/
代码链接:
https://github.com/RUCBM/CURE
ACL 2026 获奖信息:
https://2026.aclweb.org/program/best_papers/
此外,学院师生另有2篇论文获得ACL26 SAC Highlight 奖。
获奖论文信息如下:
论文题目:FinSight: Towards Real-World Financial Deep Research
作者:金佳杰,张宇尧,许一孟,朱余韬,钱泓锦,窦志成
通讯作者:窦志成
论文概述:专业的金融报告对投资决策至关重要,但现有深度研究系统在处理结构化金融数据、保障分析深度及生成专业可视化图表方面存在明显不足。为解决这一痛点,本文提出了首个致力于端到端自动生成专业多模态金融报告的多智能体框架——FinSight。该框架以"带变量内存的代码智能体"为核心,将金融数据、领域工具与各智能体模块统一到可编程变量空间中,通过执行代码来实现灵活的数据操控与逻辑推理;同时,它采用结合了生成式检索的"两阶段写作框架",先将原始海量数据提炼为结构化的"分析链"片段,再将其融合成符合金融规范、包含权威引用且图文并茂的连贯研报。此外,系统还配备了迭代式视觉增强机制,利用视觉反馈不断优化代码生成的图表,确保其达到专家级展示标准。实验表明,FinSight在公司和行业层面的任务中,其事实准确性、分析深度及最终呈现质量均显著超越了当前最先进的深度研究系统。
项目代码:
https://github.com/RUC-NLPIR/FinSight
论文题目:MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings
作者:陈浩楠,刘泓,罗雨屏,王亮,杨南,韦福如,窦志成
通讯作者:窦志成
论文概述:现有基于因果视觉语言模型(VLM)的多模态嵌入方法面临三方面局限:因果注意力机制不适合全局表征学习、对高质量标注配对数据的依赖限制了训练规模,以及单一的训练目标与数据分布制约了跨模态语义对齐和泛化能力。为此,本文提出两阶段多模态嵌入框架 MoCa,将预训练 VLM 转化为高性能的双向多模态编码器。第一阶段"模态感知持续预训练"移除因果注意力掩码,并结合掩码语言建模与掩码自编码,对交错图文输入中的文本词元和图像块进行联合重建,从而增强双向上下文建模、跨模态推理能力,并有效利用大规模无标注数据;第二阶段"异构对比微调"引入长文本查询—文档对、精选多模态对及真实文本对,并采用任务感知批处理策略,进一步提升模型的语义对齐、鲁棒性和跨任务泛化能力。实验表明,MoCa在MMEB和ViDoRe-v2基准上持续优于现有强基线,其中MoCa-7B在MMEB上取得新的最优结果;同时,模型性能能够随参数规模和持续预训练数据量稳定提升,经过约30B tokens预训练的3B模型即可匹配或超越多种7B基线。
项目主页:
https://haon-chen.github.io/MoCa