热点分享|女人一旦尝到粗硬的心理反应_社会新闻

首页 >新闻 >社会新闻

强化学习解决长上下文推理问题：通义推出QwenLong-L1-32B

2025-06-02 20:00:40

来源：

猫眼影戏

作者：

苏芒

手机检察

　　猫眼影戏记者邢莹报道w3u7903ejky2ywls

机械之心宣布

机械之心编辑部

上下文长度达 13 万 token，适用于多段文档综合剖析、金融、执法、科研等庞大领域任务。

近期的推理大模型（LRMs）通过强化学习（RL）展现出强大的推理能力，但这些革新主要体现在短上下文推理任务中。相比之下，如何通过强化学习扩展 LRMs 以有效处理和推理长上下文输入，仍然是一个尚未解决的要害挑战。

来自阿里巴巴通义实验室的团队首先形式化界说长上下文推理强化学习范式，并识别出其中的两个焦点挑战：次优的训练效率与不稳定的优化历程

针对这些问题，团队提出QwenLong-L1长上下文推理强化学习框架，通过渐进式上下文扩展战略逐步提升模型在长上下文推理任务上的体现，最终在多个长文档问答 benchmarks 上，QwenLong-L1-32B 体现卓越，不但逾越 OpenAI-o3-miniQwen3-235B-A22B等旗舰模型，更与 Claude-3.7-Sonnet-Thinking 性能对标

主要孝敬

1. 界说长上下文推理强化学习范式

区别于短上下文推理强化学习增进模型利用内部知识推理，长上下文推理强化学习需要模型首先定位外部要害信息然后整合内部推理

2. 识别长上下文推理强化学习要害问题

长上下文推理强化学习训练效率低，具体体现在（a）奖励收敛较慢，（b）模型输出熵的显著降低，限制了优化历程中的探索行为。同时，长上下文推理强化学习训练不稳定，具体体现为（c）KL 散度突刺较多，这是由于（d）较长的输出长度和不均匀的输入长度导致方差变大，导致战略更新不稳定。

3. 构建 QwenLong-L1 长上下文推理强化学习框架

基于渐进式上下文扩展技术混淆奖励机制，QwenLong-L1 通过强化学习实现了从漫笔本到长文本的稳定上下文适应。

4. 开源 QwenLong-L1-32B 长上下文文档推理大模型

与前沿长上下文推理大模型相比，QwenLong-L1-32B 实现了显著的性能提升，相较于 DeepSeek-R1-Distill-Qwen-32B 平均提升7.8%，不但逾越OpenAI-o3-miniQwen3-235B-A22B等旗舰模型，更与 Claude-3.7-Sonnet-Thinking 性能对标，为长文本推理优化提供了基础性技术计划，

焦点技术

基于古板的短上下文推理强化学习框架，QwenLong-L1 主要提出如下革新：渐进式上下文扩展技术和混淆奖励机制。

渐进式上下文扩展技术

训练长上下文推理大模型保存不稳定的优化动态特性。为解决这些问题，我们提出了一种渐进式上下文扩展框架，该框架包括：课程引导的分阶段强化学习战略以稳定从短到长上下文的优化历程；难度感知的回首采样机制，优先探索庞大实例；以及稳定的监督微调预热阶段，在强化学习训练前提供稳健的初始化基础。

稳健的监督微调预热：使用蒸馏的长上下文推理数据在强化学习前监督微调模型，获取稳定的初始战略，降低训练历程中的不稳定。

课程引导的分阶段强化学习：将强化学习训练分为两阶段，阶段 I 输入长度 20K，阶段 II 扩展至 60K，逐步适应长上下文。每阶段仅训练目今长度区间的样本，制止混淆长度导致的优化冲突。

难度感知的回首采样：凭据样本平均奖励动态盘算难度，低奖励样本（高难度）被优先保存至后续阶段。阶段 II 训练时，包括阶段 I 的高难度样本，强制模型连续探索庞大案例。

混淆奖励机制

在数学、编程和逻辑推理等短上下文推理任务中，先前的研究事情通常接纳基于规则的奖励函数。然而，开放域问答等长上下文推理任务因其固有的谜底多样性带来了奇特挑战。在这种情境下，限制性过强的基于规则的奖励机制可能会制约有效谜底的多样性，从而可能影响整体性能。针对这些局限性，我们提出一种融合规则验证模型评判的混淆奖励机制，通过互补性评估实现精确率与召回率的平衡。

规则奖励：通过正则表达式从模型输出中提取谜底，与标准谜底严格匹配。确保谜底花样正确性，避免 Reward Hacking。

模型评判：训练历程接纳 Qwen2.5-1.5B-Instruct 作为轻量级评判模型，评估预测谜底和标准谜底之间语义等价性。

组合战略：最终奖励取规则与模型评判的最大值，兼顾精确性与谜底多样性。

实验发明

主实验结果

相较于 SFT，RL 性能提升显著：仅需 1.6K 高质量样本在 R1-Distill-Qwen 模型上 RL 后提升明显，14B 模型平均提升 4.1，32B 模型平均提升 5.1。

在海内外旗舰推理模型中处于领先职位：

QwenLong-L1-14B 模型平均 Pass@1 抵达 68.3，逾越 Gemini-2.0-Flash-Thinking, R1-Distill-Qwen-32B, Qwen3-32BQwenLong-L1-32B 模型平均 Pass@1 抵达 70.7，逾越 QwQ-Plus, Qwen3-Plus, OpenAI-o3-mini, 与 Claude-3.7-Sonnet-Thinking 持平

Test-Time Scaling 性能明显：QwenLong-L1-14B 模型平均 Pass@2 抵达 73.7，逾越 DeepSeek-R1 (Pass@1, 72.1), OpenAI-o1-preview (Pass@1, 72.9)

SFT 与 RL 的权衡

探究差别起点模型 RL 后的结果：Base Model, Short-Context SFT Model (<=20K), Long-Context SFT Model (<=60K)。

有趣发明：

SFT 和 RL 发挥着互补作用，SFT 较低价钱到可接受性能，而 RL 对抵达最佳结果至关重要；要实现最优性能，必须优先考虑 RL 而不是 SFT，因为太过关注 SFT 可能使模型陷入局部最优，从而限制 RL 提升；

长上下文推理行为的涌现和变革

探索训练历程中推理模式的动态变革：包括长上下文推理相关的 Grounding 和通用推理相关的 Backtracking, Verification, Subgoal Setting 等推理模式。

有趣发明：

所有模型都体现出明显的种种推理模式，且长上下文相关的 Grounding 泛起频率最高RL 自然地使这些推理模式泛起频率越来越高，最终性能也会随之增长SFT 尽管让推理模式取得了远高于 RL 的增加，但转换成的性能提高相较于 RL 有限

结论

这项研究通过强化学习探索了长上下文推理大模型的开发。其首先提出长上下文推理强化学习范式，并发明次优的训练效率和不稳定的优化历程等要害问题。

为应对这些挑战，研究团队推出 QwenLong-L1，一个渐进式上下文扩展强化学习框架。实验结果标明 QwenLong-L1 在业界领先的长上下文推理大模型中体现优异。其中，QwenLong-L1-14B 性能逾越 Gemini-2.0-Flash-Thinking 和 Qwen3-32B，而 QwenLong-L1-32B 逾越 OpenAI-o3-mini、Qwen3-235B-A22B，甚至与 Claude-3.7-Sonnet-Thinking 抵达同等水平。

我们的剖析揭示了长上下文推理强化学习的三项要害洞察：渐进式上下文扩展对实现稳定适应的重要作用、优先强化学习对最优性能的须要性，以及强化学习训练历程中长文本推理模式的增加对性能提升的增进作用。

??时事1：咒术回战H婬乱版全文阅读

??06月02日,寒潮降温持续广西各部门“闻雪而动”保障民众生活,

　　列位同学，请记着这样一个温暖的场景，记着叔叔姨妈们期待的目光!让我们好勤学习，天天向上，以优异的结果来酬金社会的关爱之情!若干年后，当你们走向四面八方，当你们走向社会的各个岗位，当你们成为社会的栋梁之材，请你们记着今天，记着这温暖的笑脸，记着这亲切的眷注!

,希格雯撅着光屁屁被打作文。

??06月02日,海上风电、沙地光伏，“撂荒地”如何成为清洁能源“发电厂”？,

　　学校制定了结业班事情、对结业班事情进行了早安排、早安排。对什么时候结束新课，什么时候安排温习，什么时候组织月考，都进行了详尽的安排安排。

,13学生奶头无遮挡图片,男女晚上做❌❌❌❌,虞书欣被❌狂揉大胸照片。

??时事2：美女又色❌又黄❌丝袜裸交

??06月02日,【文化中国行】姑苏城内话江南吴侬细语说“新”韵,　　“支教研学动辄上万元，如今公益也能论斤卖了”……大凉山商业化支教研学正在引发争议，多名业内人士都体现，“涉及商业的大凉山支教研学，是该‘降降温’了。”,少女弹珠汽水1-4集免费观看樱花,国产男男被猛男躁免费视频,美女穿乳钉全过程视频播放。

??06月02日,台风“康妮”强度逐渐增强向台湾岛东部海面靠近,

　　族人寻来许多灵药，但都无用，难以康复，他的小脸越来越惨白，不绝咳嗽，时�；嵘�，满身酷寒。

,成人AV精品无码AV视频本子,大动漫美女禁视频,九一涩漫。

??时事3：欧美另类Z0Z❌❌老人

??06月02日,学习进行时丨习近平主席与法国的故事,

　　学校无小事，事事是教育；教师无小节，随处皆楷模；治理无空白，时时皆育人。

,免费把🍌伸进女人的🍑洗澡,雏田爆乳❌🔞🔞视频,两个奶被揉捏了一晚上黄。

??06月02日,美国纽约一变压器突发爆炸起火导致铁路停运 ,

　　小不点瞪圆大眼，嘴巴张成了“O”型，这缺乏一寸高的洁白小塔来头这么大？未免太惊人了！

,futa动漫女同3D同人,初学生疯狂❌喷水自慰网站,女奥特曼的胸大小排名。

??时事4：给清水文男主们开荤nph

??06月02日,在黑色煤田上书写“绿智答卷”,

　　结束了愉快的假期生活，今天我们又重新聚集在校园里，迎接最最有希望和生机的20xx年新的学年，借此时机，我代表咱们学校，向全校师生致以最诚挚的祝福，祝全体同学和老师在新的一年里身心健康、事情顺利、学习进步、梦想成真。

,打屁股调教㊙️网站下载,宝宝对准了坐下来自己弄黄,海角乱怆破解。

??06月02日,大风蓝色预警继续！福建广东沿海等地部分地区阵风可达7至8级,

　　那阻挡在前的几位老人全都被震飞了，口中狂喷鲜血，无比骇然。

?第五十二章当自强,美妇岳的肉泬第13部分视频,蒂法3D被❌18禁同人,催眠警察男奴服侍主人项链。

【从农场到市场：元江芒果产业背后的“侨”力量】

【河南平顶山煤矿事故涉事煤矿党委书记、矿长被免职】

责编：郑立发

审核：罗淑蕾

责编：山下不远

凯发天生赢家一触即发首页

强化学习解决长上下文推理问题：通义推出QwenLong-L1-32B