性能提升84%-166%!L-Zero仅靠强化学习解锁大模型探索世界的能力 | 已开源
创始人
2025-07-01 12:43:14

招商局狮子山人工智能实验室 投稿

量子位 | 公众号 QbitAI

大模型可以不再依赖人类调教,真正“自学成才”啦?

新研究仅通过RLVR(可验证奖励的强化学习),成功让模型自主进化出通用的探索、验证与记忆能力,让模型学会“自学”!

当前主流的LLM Agent依然高度依赖于提示词工程、复杂的系统编排、甚至静态规则表,这使得它们在面对复杂任务时难以实现真正的智能行为演化。

而来自招商局狮子山人工智能实验室的研究团队认为,RLVR范式是智能体(Agent)通往更高通用性和自主性的重要突破口。

于是,他们从两个关键层面出发构建了端到端Agent训练pipeline——L0系统:

  • 智能体架构层面

    提出了结构化智能体框架——NB-Agent,在经典”代码即行动”(Code-as-Action)架构基础上进行扩展,使智能体能够操作记忆/上下文,从而获得类人类的记忆存储、信息总结与自我反思能力。

  • 学习范式层面

    探索了一个核心问题:是否可以仅通过RLVR范式,引导智能体从零开始,学会如何规划、搜索、验证与记忆,最终解决复杂的多轮推理任务?

L0系统的框架、模型及训练集已全部开源,详细可见文末链接。

结构化智能体框架:Notebook Agent(NB-Agent)

△NB-Agent的“Think-Code-Observe”循环

受到“代码即行动”的启发,NB-Agent选择使用代码作为通用的动作空间,并且遵循“读取-求值-输出”循环(Read-Eval-Print-Loop,REPL)的方式来和Jupyter Kernel交互。

每一步都是“Think-Code-Observe”:

  • Think:模型生成推理逻辑;

  • Code:将推理转化为Python代码;

  • Observe:执行代码并观察输出结果,反馈进入下一轮思考。

在这个过程中,长文本处理是智能体驱动模型(Agentic model)面临的核心挑战。

为此,研究团队提出一个创新方案:将模型的上下文窗口(context)与一个Python运行时的变量进行双向绑定。

这赋予了智能体主动管理自身记忆的能力,不再被动受限于上下文长度。

具体来说,研究团队提供了一个Notepad Python类作为结构化的外部记忆模块。智能体可以通过代码指令,将关键信息、推理步骤或中间结果写入Notepad。

这些信息会持久存在,并映射到上下文中一个稳定区域,确保在长程任务中不被遗忘。

同时,REPL的交互模式,使智能体能像程序员一样,将复杂信息存入变量、随时取用,从而彻底突破上下文的枷锁。

训练流程:端到端强化学习

△L0的multi-turn训练过程

L0采用端到端强化学习进行智能体训练:

  • 重新定义动作粒度

    一个动作不再是一个token,而是一个完整的“思考+代码段”;

  • 提出Agentic Policy Gradient算法

    适应序列级动作定义,将策略梯度从单token级扩展到完整动作序列级;

  • 构建多维度自动奖励函数

    包括最终答案正确性、代码执行情况、输出结构规范性等;

  • 分布式训练架构

    采用轻量级沙箱隔离(Bubblewrap),支持高并发、低部署门槛的大规模RL训练。

测试:L0显著提升了模型在多个基准测试上的性能

在多个经典的开放领域问答数据集对L0系统进行测试,见证了智能体的惊人进化。

以Qwen2.5-7B这个基础模型为例:

在L0-Scaffold(仅有架构,未经过RL训练)下,它就像一个刚拿到Notebook的新手,在HotpotQA上得分22%。

经过L0-RL(强化学习训练)后,它学会了如何高效搜索、验证信息、剔除冗余步骤,最终在同一任务上得分飙升至41%(提升84%)。

在SimpleQA数据集上,L0-RL带来的提升更加显著:EM(精确匹配)得分从30%暴涨到80%(提升166%)。

L0在与其他工作的比较中也获得了具有竞争力的性能,在平均表现上明显优于Search-R1和ZeroSearch。

这表明L0框架为强化学习提供了更丰富和更具表现力的环境:其他方法训练智能体学习何时调用单个工具(例如搜索引擎),而L0框架训练智能体成为一个程序化的问题解决者,学习如何在结构化环境中组合动作、管理状态和进行推理。

这意味着什么?

在真实搜索之外,模型自己“学会”的搜索、规划和记忆行为,比直接调用API的规则式Agent更稳定、更泛化、也更强大!

它不再是生硬地调用工具,而是真正理解了怎么利用代码和这个世界交互,展现了通往更高级通用智能的清晰路径。

论文:https://github.com/cmriat/l0/tree/main/papers/l0.pdf

NB-Agent框架、训练pipeline和所有训练recipe:https://github.com/cmriat/l0

模型checkpoint:https://huggingface.co/cmriat/models

20K训练数据集:https://huggingface.co/cmriat/datasets

用checkpoint执行深度搜索任务的示例:https://github.com/cmriat/l0/blob/main/examples/nb_agent/deep_searcher_case.md

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

《娱乐至死》:当一切公众话语都... 一、为什么在短视频时代重读这本书第一次翻开《娱乐至死》,不少人带着一点猎奇:一本写于一九八五年、通篇...
《猎人笔记》:在游猎路上读懂农... 一、为什么读这本书在俄国文学的星空中,屠格涅夫是一位以抒情见长的现实主义大师。提起他,人们往往先想到...
华为石墨烯到底是个啥?散热膜是... 一搜华为石墨烯,跳出来的八成是什么"黑科技电池""充电一秒用一天",看得人心痒痒。先把话说明白:石墨...
《八十天环游地球》:一场与时间... 一、为什么在今天重读凡尔纳在飞机十几个小时就能绕地球半圈的今天,重读一部写于一八七二年的环球旅行小说...
《封神演义》:在神魔斗法里读懂... 一、为什么重读《封神演义》在中国古代神魔小说里,《封神演义》的位置很奇特:论文学造诣,它公认逊于《西...
《安提戈涅》:在国法与神律之间... 一、为什么今天还要读《安提戈涅》古希腊悲剧被译介到中文世界已逾百年,但索福克勒斯的《安提戈涅》依然常...
《世说新语》:在名士的言谈举止... 一、为什么读这本书在中国古代典籍里,有一部书很难归进任何一类:说它是史书,里面多是传闻轶事;说它是小...
数据安全解决方案到底要配什么?... 会去搜这个词的,多半是公司里刚接到任务,领导一句"把数据安全搞一搞",然后打开搜索框发现不知道从哪下...
《西厢记》:在红娘的机锋里读懂... 一、为什么在今天重读《西厢记》提到《西厢记》,很多人脑海里只剩"才子佳人终成眷属"八个字。可真正翻开...
《愤怒的葡萄》:在苦难迁徙中守... 一、为什么读这本书在美国文学的谱系里,有一类作品不满足于讲一个好看的故事,而是执意要为一个时代留下证...
《荒原狼》:在人性与狼性的撕扯... 一、为什么读这本书在现代社会里,越来越多人体会过一种难以言说的撕裂:白天得体地生活,夜晚却被莫名的空...
《日瓦戈医生》:在时代洪流里守... 一、为什么读这本被拒绝的诺贝尔奖作品在我的书单里,《日瓦戈医生》一直是一本带着传奇色彩的书。它完成于...
RFID1 CN到底指哪套标准... 会搜这个的人,多半是在设备参数表或者技术文档里看到一串奇怪的写法:EPC CLASS-1/Gen-2...
《喧哗与骚动》:在破碎的意识里... 一、为什么读这本"最难读"的经典在诺贝尔文学奖得主福克纳的作品里,《喧哗与骚动》被公认是他心血花得最...
《哈克贝利·费恩历险记》:在密... 一、为什么要读这本被反复重估的经典在《汤姆·索亚历险记》里,哈克只是那个赤着脚、被镇上大人又怕又嫌的...
《撒哈拉的故事》:在黄沙与烟火... 一、为什么在今天还要读《撒哈拉的故事》很多人认识三毛,是从那首关于流浪的歌开始的。她像一个永远在路上...
《奥德赛》:在十年漂泊里读懂智... 一、读过《伊利亚特》,为什么还要读《奥德赛》很多人把荷马史诗当作一个整体,读完《伊利亚特》的刀光剑影...
meego软件是什么来头?诺基... 搜“meego软件”的人,大概是这几种:翻出来一台吃灰的诺基亚N9想找找还有没有应用能装,或者看老烧...
《人类群星闪耀时》:在历史的偶... 一、在宏大叙事之外,看见历史的表情我们通常读历史,读到的是王朝更替、战争胜负、制度兴衰,那些被反复书...
《美狄亚》:在背叛与复仇之间追... 一、为什么读这本书在古希腊悲剧里,我最不愿轻易翻开的就是《美狄亚》。它不是那种读来让人痛快淋漓的复仇...
《道林·格雷的画像》:在永葆青... 一、为什么在今天重读这本书我之所以重新翻开《道林·格雷的画像》,是因为它几乎是文学史上把"美"这件事...
毫米波的应用到底有哪些?从车上... 搜“毫米波的应用”的人,多半是被某个具体东西逼着来查的:车上仪表盘后面藏着的那个雷达、运营商宣传里的...
《漂亮朋友》:一张漂亮面孔如何... 一、为什么读这本书在莫泊桑的众多作品里,中短篇往往更早被中国读者熟知,《项链》《羊脂球》几乎家喻户晓...
《伊利亚特》:在阿喀琉斯的愤怒... 一、为什么翻开这部史诗很多人对《伊利亚特》的印象停留在特洛伊木马和阿喀琉斯之踵这两个典故上,真正翻开...
《镜花缘》:借海外奇国照见男女... 一、为什么翻开这本书在清代长篇小说里,《镜花缘》是一部很难被归类的作品。它没有《红楼梦》那样细密的家...