文章总结： 复旦大学与美团LongCat团队联合提出R-HORIZON框架，用于评估和增强大型推理模型的长程推理能力。研究发现所有主流推理模型在长链推理场景下均出现显著性能下降，存在有效推理长度受限、反思机制局部化和思考预算分配失衡三大瓶颈。通过基于QueryComposition方法的强化学习训练，不仅提升了模型长链任务表现，也增强了单问题性能。该框架已全面开源，为推理模型研究提供了新的评测与训练范式。
综合评分： 88
文章分类： AI安全
复旦 NLP&美团 LongCat 联合提出长程推理能力评测与增强新框架
美团LongCat团队
美团技术团队
2025年11月27日 19:59
北京
一、推理模型⾯临的新挑战
随着 OpenAI o1 、 DeepSeek-R1 等大型推理模型（LRMs）的问世， AI 推理能力迎来了「测试时扩展」的新阶段。这些模型通过长链思维（Long Chain-of-Thought, CoT）在数学推理、代码生成、智能体任务等领域展现出强大能力。
然而，现有评测体系存在一个关键盲区：主流基准测试（如 MATH500 、AIME）主要关注独立的单一问题，每个问题相互隔离，模型只需「—问—答」即可。
但现实应用场景往往大相径庭：
- 软件开发中需要连续处理多个关联代码模块
- 数学证明需要基于前序推导逐步构建后续结论
- 智能助手往往需要在多轮交互逐步完成复杂任务
这些真实场景要求模型具备跨任务的长链推理能力——不仅要解决单个子问题，更要在多个关联任务间保持推理—致性、合理分配计算资源、实现跨步骤的反思与纠错。
核心问题：当前大型推理模型的长链推理能力边界到底在哪里？
由于现有评测无法回答这—问题，传统训练数据也难以培养这种能力（如图所示，模型在长程推理场景下表现明显退化）。
图1：R1 系列模型在长程推理场景下的理论准确率与实际准确率对比
复旦大学与美团LongCat联合推出 R-HORIZON——首个系统性评估与增强 LRMs 长链推理能力的评测框架与训练方法。
- 论文标题： R-HORIZON: How Far Can Your Large Reasoning Model Really Go in Breadth and Depth?
- 论文地址： https://arxiv.org/abs/2510.08189
- 项目主页： https://reasoning-horizon.github.io
- 代码地址： https://github.com/meituan-longcat/R-HORIZON
- 数据集：https://huggingface.co/collections/meituan-longcat/r-horizon
二、方法论： Query Composition 范式
核心创新
R-HORIZON 提出了问题组合（Query Composition）方法，通过构建问题间的依赖关系，将孤立任务转化为复杂的多步骤推理链。
以数学任务为例，该方法包含三个步骤：
1. 信息提取：从独立问题中提取核心数值、变量等关键信息
2. 依赖构建：将前序问题的答案嵌入到后续问题的条件中
3. 链式推理：模型必须顺序解决所有子问题才能获得最终答案
方法优势：
- 灵活扩展：可自由控制推理链长度（n=2, 4, 8…）
- 精确可控：可灵活设定问题间的依赖强度
- 高效低成本：基于现有数据集构建，无需额外人工标注
基于此方法，我们构建了R-HORIZON Benchmark用于系统性评估 LRMs 的多步推理能力，同时生成了长链推理训练数据，通过强化学习（RLVR）提升模型性能。
图2：R-HORIZON 方法流程——从单 — 问题到复杂推理链的转化及应用场景
三、评测基准： R-HORIZON Benchmark
数据集构成：
基于 Query Composition 方法，我们构建了涵盖 6 个代表性数据集的 R-HORIZON Benchmark：
评测发现：性能断崖现象
我们评测了 20+ 个主流 LRMs（包括 o4-mini 、Claude-Sonnet-4 、 DeepSeek-R1 等顶级商业模型及开源模型），揭示了—个重要现象：
顶级推理模型在长链推理场景下均出现显著性能下降！
主要发现：
- 普遍性能退化：所有模型随问题数量增加均出现明显性能下降。 DeepSeek-R1 在 AIME25 单问题场景准确率达 87.3%，但在 5 个组合问题场景下骤降至 24.6%
- 规模效应：更大规模的模型对多步推理挑战表现出更强的鲁棒性
- 任务差异：代码生成任务相比数学任务表现出更陡峭的性能衰退；多数推理模型在网页搜索场景中丧失工具调用能力
图3：R-HORIZON Benchmark 评测结果—— 所有模型均出现显著性能衰退
四、机制分析：推理模型的三大瓶颈
为深入理解性能断崖的成因，我们进行了系统的机制分析，识别出当前 LRMs 的三个关键瓶颈：
瓶颈1：有效推理长度受限
随着相互依赖问题数量增加， LRMs 难以维持原有性能水平。实际准确率与理论准确率之间的差距显著扩大。
深入分析显示：
- 模型错误集中在特定上下文范围内
- 7B 模型的主要错误范围在 (4-6K tokens)
- 32B 模型将范围扩展到 (8-10K tokens)
- 更大模型具有更长的有效推理边界
图4：R1-Qwen-7B 和 R1-Qwen-32B 的准确率及错误位置分析
瓶颈2： 反思机制高度局部化
对模型「反思」行为的分析发现发现：
- 模型反思频率随问题数量增加而上升并趋于收敛
- 超过半数复杂任务完全缺乏长程反思 （跨越当前问题的反思）
- 当前 LRMs 的反思机制高度局部化，无法支撑长链场景需求
图5：MATH500 数据集上的反思行为分析
瓶颈3. 思考预算分配失衡
最令人意外的发现： 包括 DeepSeek-R1 在内的主流 LRMs 无法有效分配思考预算！
- 模型倾向于过度分配 tokens 给早期推理阶段
- 未能合理分配资源给后续关键问题
- 这种失衡严重影响整体推理链的完成质量
图6：不同组合问题数量下各模型的思考预算分配
五、 训练方案：突破能力边界
发现瓶颈后，我们进—步探索： 能否通过长链数据的强化学习训练突破这些限制？
训练策略
我们基于 R-HORIZON 构建的长链推理数据，采用 GRPO 算法进行训练：
- 算法：主流RLVR 算法 GRPO
- 数据： R-HORIZON 组合数据（n=2, n=4）
- 实验：不同奖励函数的对比实验
训练效果：双重性能提升
实验结果显示： R-HORIZON 训练不仅显著提升长链任务表现，单问题性能也大幅增强！
核心数据：
注：加粗数字表示该列最佳成绩
图七：不同训练配置下的性能对比。
关键发现：
1.双重提升：使用 n=2 组合问题训练，多步推理性能大幅提升（AIME24 n=2 +17.4 分），单问题性能也显著增强（AIME24 单题 +7.5 分）
- 可扩展性：增加组合复杂度（n=4）增强了模型处理更多推理步骤问题的能力，在 MATH500 (n=8) 上达到 50.6%
训练带来的质变
R-HORIZON 训练带来了推理机制的深层改变：
更高效的推理长度：显著改善组合任务性能，更好地泛化到更长推理链，同时缓解「overthinking」现象
更合理的预算分配：学会在多步问题中进行更合理的 token 预算分配
更长程的反思能力：促进了长程反思频率增加，直接改善长链推理性能
图8：使用标准数据集和组合数据集进行强化学习的效果分析
六、结论与展望
R-HORIZON 标志着大型推理模型研究的范式转变——从「能解决什么问题」到「能走多远」。
技术贡献
- 首个长链推理评测基准：系统性揭示 LRMs 的能力边界及三大瓶颈
- 可扩展训练范式：提供低成本、高效率的能力提升路径
- 深度机制分析：为未来推理模型改进指明方向
开源资源
R-HORIZON 框架已全面开源：
- 完整评测代码与 Benchmark 数据
- 训练数据和训练代码
- 数据构建流程
- 详细文档与使用教程
我们期待与研究社区共同推动下—代推理模型的发展！
相关资源：
📖论文：https://arxiv.org/abs/2510.08189
🌍项目主页：https://reasoning-horizon.github.io
💻代码：https://github.com/meituan-longcat/R-HORIZON
📒数据集：https://huggingface.co/collections/meituan-longcat/r-horizon
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：美团技术团队 美团LongCat团队《复旦 NLP&美团 LongCat 联合提出长程推理能力评测与增强新框架》