实时播报|冷艳高贵的阿姨怀孕小说最新章节_社会新闻

首页 >新闻 >社会新闻

通义实验室、北大宣布ZeroSearch，无需搜索即可激活LLM检索能力

2025-06-04 16:39:25

来源：

猫眼影戏

作者：

金领冠

手机检察

　　猫眼影戏记者崔晨韬报道w3u7903ejky2ywls

本文作者来自通义实验室和北京大学，第一作者是北京大学智能学院博士生孙浩，主要研究偏向是RAG和Agent，在 NeurIPS、ACL、EMNLP 等国际顶级集会上宣布多篇论文，师从张岩教授。该事情在阿里巴巴通义实验室RAG团队实习期间完成。

信息检索能力对提升大语言模型 (LLMs) 的推理体现至关重要，近期研究实验引入强化学习 (RL) 框架激活 LLMs 主动搜集信息的能力，但现有要领在训练历程中面临两大焦点挑战：

文档质量不可控：真实搜索引擎返回内容不可控，训练历程易受噪声滋扰。搜索 API 本钱高昂：Rollout 阶段频繁挪用搜索 API，训练本钱极高。

为了解决这些问题，我们提出了 ZeroSearch 框架 —— 无需真实搜索，直接用大语言模型模拟搜索引擎，并引入课程学习战略，在显著降低 88% 本钱的同时，在多项任务上性能凌驾依烂魅真实搜索引擎的要领。

论文题目：ZeroSearch: Incentivize the Search Capability of LLMs without Searching论文地点：https://arxiv.org/pdf/2505.04588代码地点：https://github.com/Alibaba-NLP/ZeroSearch项目主页：https://alibaba-nlp.github.io/ZeroSearchHuggingface 主页：https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e

要领

无需搜索的强化学习框架

古板训练要领需要在 Rollout 阶段频繁与真实搜索引擎交互，爆发大宗 API 开销，而大语言模型在预训练阶段积累了富厚的世界知识，具备凭据 query 返回相关信息的能力，因此 ZeroSearch 立异性地引入大语言模型作为模拟搜索引擎（Simulation LLM），无需真实搜索，即可为战略模型生成检索文档，大幅降低了训练本钱：

为了制止战略模型记着由 Simulation LLM 生成的文档，我们对文档进行了损失屏蔽（Loss Masking），仅对战略模型自己生成的 token 进行损失盘算。

结构化训练模板

ZeroSearch 无需初始监督微调（SFT），直接对预训练语言模型进行强化学习训练，通过接纳结构化的训练模板，引导模型在每一轮交互中划分思维办法：

对已有信息剖析，明确下一步行动提炼搜索 query总结推理历程，形成最终谜底

这种结构化模板提升了模型推理路径的清晰度和可解释性，花样化的输出便于提取最终谜底进行奖励盘算。

搜索模拟微调

直接通过 Prompt 指导 LLM 生成的模拟检索内容，往往与真实搜索引擎返回的检索内容作风差别较大，且质量不稳定。为了解决这些问题，我们接纳了模拟微调战略，具体包括以下三步：

轨迹收罗：从战略模型与真实搜索引擎的交互中收罗 Query-Document 对证量评估：利用 Qwen-Max 作为评审，对文档进行有用性判别监督微调：构建高质量训练集，进行轻量级微调 (2 万条数据，7B 模型训练时间仅需 30 分钟)

别的我们还在 Prompt 内引入原始问题的正确谜底，从而扩充 Simulation LLM 的知识界限。

基于课程学习的文档生成战略

经过微调的 Simulation LLM 可通过调解在 Prompt 中添加 Useful/Noisy 指令，灵活控制生成文档的质量�；谡庖荒芰�，我们进一步引入了课程学习战略，通过逐步降低文档质量，循序渐进地提升训练难度，从而更有效地引发模型的推理能力。

为实现训练难度的平滑过渡，我们设计了一个指数函数来控制 Noisy 文档的生成概率：

训练初期：训练难度上升缓慢，模型能够稳步学习基本的输特别式以及任务逻辑。训练后期，训练难度快速上升，从而促使模型不绝强化其推理能力与鲁棒性。

该由易到难的训练历程能够连续引发战略模型的推理能力，有效提升强化学习训练的稳定性与最终体现。

奖励函数设计

在实验中，我们发明使用 Exact Match 作为奖励会诱导模型生成冗长内容以 “碰中” 谜底，泛起 Reward Hacking 问题，我们改用 F1 Score 作为奖励指标，越发关注输出的准确性与简洁性，有效抑制了冗余谜底的爆发。别的，我们发明模型在训练中即便不显式监督输特别式，也能生成结构规范的回覆，因此没有引入花样奖励。

实验结果

主要性能体现

ZeroSearch 逾越所有基线要领，该性能优势在域内以及域外数据集上均得以体现，展示了我们要领的鲁棒性。ZeroSearch 的体现优于依烂魅真实搜索引擎的要领 Search-R1，凸显其在大规模强化学习中替代真实搜索引擎的潜力。ZeroSearch 展现了强大的泛化能力，随着模型参数量增加，其性能进一步提升，体现了良好的扩展性。

与真实搜索引擎比照

ZeroSearch 与真实搜索的奖励趋势相似，随着训练的推进，ZeroSearch 和 Search-R1 的奖励分数都稳步上升。ZeroSearch 的奖励提升越发显著，虽然在训练初期 ZeroSearch 的奖励值低于 Search-R1，但它最终实现了逾越，并且波动更小。ZeroSearch 在基础模型和指令微调模型中都展现了良好的泛化能力，在这两类模型下，ZeroSearch 的奖励体现都连续提升。

模拟搜索设定比照

相关于Base Model，差别类型的 Simulation LLM 均可有效引发战略模型的搜索能力�；� Prompt 的要领效果较差，主要由于其生成的文档作风与真实搜索引擎差别较大，且质量不稳定，难以支撑稳定训练。经过微调的 Simulation LLM，即便仅有 3B 参数量，也能显著提升战略模型性能；随着模型规模扩大，性能进一步提升：SFT-7B 可抵达与 Google 相当的效果，SFT-14B 甚至实现逾越 Google 的性能。

交互轮数研究

训练初期：交互轮数迅速下降，奖励缓慢上升

此阶段模型尚未掌握搜索挪用机制，经常爆发冗余交互，检索效果不佳。

训练中期：交互轮数迅速回升，奖励同步显著提升

模型逐渐学会如何高效挪用搜索引擎，能够获取准确信息，回覆质量显著提高。

训练后期：交互轮数和奖励趋于稳定

模型已适应数据集的跳数漫衍，交互战略逐步固化，在课程学习设定下，模型需提升推理能力以应对更低质量文档，从而维持较高奖励水平。

课程学习战略研究

实验结果标明，Curriculum（由易到难）训练战略显著优于 Random（随机难度）训练战略，验证了该训练范式在引发模型推理能力方面的有效性。与 Random 类似，真实搜索引擎在训练历程中难以控制文档难度，导致模型缺乏系统性的能力提升路径，从而限制了推理能力的连续进化。

总结

本文提出了 ZeroSearch，一种无需真实搜索引擎即可激活大语言模型搜索能力的强化学习框架，我们使用轻量级的监督微调将 LLM 转变为一个检索�？�，在 RL 训练阶段，我们基于课程学习逐步降低检索模型生成文档的质量，通过不绝提升检索难度，逐步引发战略模型推理能力。

大宗实验标明，ZeroSearch 使用 3B 参数规模的模型作为检索�？槭奔纯梢⒂镅阅Ｐ图焖髂芰�，7B 模型的检索性能已接近真实搜索引擎，而 14B 模型甚至实现了逾越。别的，ZeroSearch 对基础模型和指令微调模型均具有良好的泛化能力，并可兼容多种 RL 算法，具备极强的适应性与可扩展性。

??时事1：汤姆维的色角

??06月04日,5月北京CPI同比由正转负金饰品价格涨幅回落,

　　“不可能，毅儿虽年少，但却睿智而稳重，怎么可能会做这种蠢事，我想一定另有他人。”一位宗老开口。

,美腿玉足ThePorn。

??06月04日,2023年广铁客货运数量双双创历史新高,

　　“不是我做的，这可如何是好……”管事瘫坐在那里，双眼无神，不绝地重复，再也没有了平日的威风。

,国产精品㊙️精品3D漫画,长靴做爰ⅩXXX性欧美,原神芙宁娜同人18❌AV黄漫。

??时事2：91亚洲码

??06月04日,讲述鲜为人知的故事这部作品如何剖析牡丹文化？,

　　蛟鹏眼中发出野兽般的光束，神色极其不善，恨不得立刻动用族中的至强宝术，将小不点一巴掌按进地里。

,动漫❌c🐻,绿帽社网站免费进入入口,动漫美女被扒掉内衣捏胸。

??06月04日,中国首次向印度尼西亚出口通勤电动车组,

　　每个人的大学生活都是凝聚在一个大的团体中，而支撑这个团体不绝进步的桥梁就是良好的团队意识与团队精神，这也是你们生活在团体中应具备的基本素质。团体一但缺乏凝聚力与团队精神，个人的生长也就失掉了群众基础，进而导致整体的衰退。所以，人人要树立集体荣誉感，做到维护集体，个人利益听从集体利益;增强与其他成员之间的相助，相互资助，团结友爱，配合增进集体的进步!

,刚发育的女同学裸体,亚洲精品无码18在线,18🈲乳啊好湿迅速网站。

??时事3：纲手被❌🔞漫画在线观看

??06月04日,（巴黎奥运）羽毛球何冰娇女单摘银安赛龙男单卫冕,

　　一群孩子虽然兴奋，可是心中也有点担心，究竟那可是一头青鳞鹰啊，让村中的最强大的壮年男子都心有惧意，而他们却乐成的将其所产下的卵一窝端了，有点不真实的感受。

,国产精品扒开腿做爽爽的视频,少司缘的胸被大司命摸揉小说,自慰喷水私人影院九一制片厂。

??06月04日,“足球进校园”，为何雷声大雨点稀？,

　　“可以，把至尊骨还给我儿！”石子陵大喝。

,小鲜肉GayGay✅✅免费自慰,gary武警Gary男男网站,仓井空。

??时事4：男生把🐔🐔桶30分钟无需网

??06月04日,调查显示超七成受访者对职场社交感到困扰,

2024医院院长总结大会讲话（精选3篇）

,国外做受❌❌❌高,男男做爰GaY✅A站,美女裸体❌羞羞尿裤子网站。

??06月04日,新能源汽车渗透率过半，与燃油车的竞争将走向何方？,

　　一群人啼笑皆非，感受像是在面对原始人，这个小工具有点憨的可爱，怎么会有这种体现呢？

,91糖心桥本香菜丝袜二区,同性男A片18🈲在线观看漫画,董卿被黑人狂躁A片。

【2024“郑洁杯”青少年网球巡回赛泰安收拍】

【贵州铜仁：抹茶生产忙全产业链发展助农增收】

责编：林怀民

审核：于海鹏

责编：罗菁

凯发天生赢家一触即发首页

通义实验室、北大宣布ZeroSearch，无需搜索即可激活LLM检索能力

通义实验室、北大宣布ZeroSearch，无需搜索即可激活LLM检索能力