AI“压力面”,DeepSeek性能暴跌近30% | 清华&上海AI Lab
创始人
2025-07-19 22:41:59

REST 团队 投稿

量子位 | 公众号 QbitAI

给AI一场压力测试,结果性能暴跌近30%。

来自上海人工智能实验室、清华大学和中国人民大学的研究团队设计了一个全新的“压力测试”框架——REST (Reasoning Evaluation through Simultaneous Testing)。

该框架在一个prompt里同时抛给模型多个问题,模拟真实世界中复杂的、多任务并行的推理场景。

结果发现,即便是像DeepSeek-R1这样的顶级模型,在“高压”之下的表现也大幅缩水,例如,在AIME24测试集上的准确率骤降29.1%。

给大模型来一场“压力测试”

如今的大模型在各种推理能力测试中动辄拿下接近满分的成绩。

如果让模型一次做好几道题,它还会那么“神”吗?

团队认为,当前大模型的评测模式普遍存在三大痛点:

区分度低:在许多基准测试中,顶尖模型的得分已趋于饱和,难以分出高下。例如,7B参数的DeepSeek-R1-Distill-Qwen-7B和671B参数的DeepSeek-R1在MATH500上的准确率分别为93.0%和97.0%,看似相差不大,但推理能力仍有显著区别。

成本高昂:由于现有的数学题几乎已经被纳入了大模型的训练数据。为了有效评估,社区不得不持续投入大量人力物力去开发更新、更难的测试题。但设计这样的测试题需要极高水平的人类专家,一年也出不了几个题。例如,AIME24和AIME25都只有30道题。

脱离现实:一次只答一道题的模式,无法考察模型在真实世界中处理交叉信息,完成多重任务的综合能力。

为了解决这些问题,团队设计REST框架——改造现有基准,如GSM8K、MATH500、AIME24等7个代表性推理任务,不再逐题测试,而是把多个问题拼接成一个长prompt,一次性让模型在一次输出中逐一回答。

研究团队基于GSM8K、MATH500、AIME24等7个主流推理基准,构建了REST评测集,并对超过30个参数从1.5B到671B的主流推理模型进行了全面测试。

这种“压力测试”不仅考察模型基础的推理能力,更深入评估了以往被忽视的几项关键能力

上下文预算分配:模型得聪明地决定怎么在多个题目中分配思考Token。

跨问题干扰抵抗:避免一道题的错误“传染”到其他题。

动态认知负载管理:在高压下保持高效推理,别在一道题上陷入“过度思考”的陷阱。

SOTA模型也“扛不住”,REST拉开差距

最强模型,在多题高压下也顶不住

LRMs可以在单个推理过程中处理多个相对简单的问题,但在REST下,性能皆下降。

如下图所示,DeepSeek-R1,在AIME24基准上,单题模式下效果拔群,但“压力测试”下准确率直降29.1%。其他模型也类似,整体性能大打折扣。

不同参数模型性能差距明显

传统单题测试中,不同大小模型得分都接近天花板。而REST揭示了不同尺寸模型之间存在显著的性能差异。如下图所示,7B参数的小模型在高压下崩得更快,而更大的32B参数的模型性能虽有下降但仍保持优势。如下图所示,不同压力水平下,模型性能拉开明显梯度——这让REST成为更强的“分辨器”,帮我们精准比较模型。

“过度思考”成大坑,long2short技术救场

为什么模型在REST下变差?分析显示,关键是陷入了过度思考的陷阱。就像学生考试,在一道难题上思考太久,没时间做后面的题目了。

但用long2short技术(鼓励模型缩短推理过程)训练的模型,就能更好地保留单题性能,在REST下领先。如L1Qwen-1.5B-Exact和L1-Qwen-1.5B-Max,在高压力水平下表现出显著的性能优势。如表6所示,L1-Qwen-1.5B-Max在MATH500上压力水平s=9时,准确率比R1-1.5B高出44.71%的显著差距。7B模型中也观察到类似的趋势。

动态分配token,有的模型更“聪明”

REST下,一些“聪明”的模型(如Nemotron-nano-7B和DeepSeek-R1)会动态调整推理预算:当压力增大时,它们为第一道题分配更少的推理token,留力后续。但低性能模型(如DeepSeek-R1-Distill-Qwen-7B)往往在前面的题上用掉太多token,留给后续问题的空间不足,导致整体崩盘。

这一观察表明,在REST中表现优异的LRM模型在压力下倾向于对早期问题进行更简洁的推理,从而为后续问题留出足够的空间。

团队将这种能力称为“自适应推理努力分配”,认为这是在REST下实现稳健性能的关键因素。

此外,REST还揭示了一些推理不良行为,如问题遗漏和对推理过程总结错误,这些问题在单问题评估中未被发现。

总而言之,REST不是简单加题,而是给大模型来场“压力测试”,挑战了“LLMs是多问题解决者”的普遍假设,揭示了当前评测方法的局限性,提供了一种更低成本、更贴近真实的评测数据构建新范式,为未来开发更健壮和强大的LRMs提供了更加深刻的见解。

论文地址:

https://arxiv.org/abs/2507.10541

项目地址:

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

adsl自服务系统是什么?早年... adsl自服务系统,说白了就是电信、网通这些运营商给ADSL宽带用户开的一个自助服务网站。查上网时长...
《额尔古纳河右岸》:在驯鹿铃声... 一、在喧嚣时代读一部安静的挽歌第一次翻开《额尔古纳河右岸》,是在一个被各种待办和消息填满的深夜。我们...
《霍乱时期的爱情》:在半个世纪... 一、为什么读这本书很多人认识马尔克斯,是从《百年孤独》开始的。那部作品的光芒太过耀眼,以至于他后来的...
《追风筝的人》:在背叛与救赎之... 一、为什么读这本书有些书读完很久,故事的细节会慢慢淡去,却在心里留下一个再也抹不掉的场景。《追风筝的...
京东集团-SW(09618.H... 数据口径说明事实:行情与技术指标来自腾讯自选股接口,截止2026年11月20日港股收盘;财报主数字为...
《白夜行》:共生在白夜里,他们... 一、为什么读这本书很多人把《白夜行》当作推理小说来读,追着"谁是凶手"一路翻到最后一页。但读完这本书...
网络融合是什么?电信网、互联网... 网络融合这个词,说白了就是"三网合一"——把电信网(打电话的)、互联网(上网的)、广播电视网(看电视...
话到嘴边却想不起来:舌尖现象与... 在街上偶遇熟人,明明觉得对方名字就在嘴边,可怎么也叫不出来;等别人一提醒,立刻恍然大悟。几乎人人都遇...
地铁出入口为什么要垫高几级台阶... 地铁站的出入口,往往要上下几级台阶才能到地面。很多人以为那是施工凑高度,其实这几级台阶关系到一件很实...
中芯国际(688981)走势与... 中芯国际(688981)走势与财报综合研判数据口径说明 事实:行情为2026-11-20收盘快照,财...
壳牌ADR(SHEL)走势与财... 数据口径说明事实:本文行情为 westock 数据接口 2026-11-19 美股收盘快照(usSH...
Meta(META)走势与财报... 数据口径说明事实:行情为 westock-mcp 接口 2026-11-19 美股收盘快照;财报为同...
《鲁滨逊漂流记》:在荒岛的二十... 一、为什么重读这本书很多人第一次读《鲁滨逊漂流记》是在少年时代,那时吸引我们的是荒岛、猛兽和惊险的冒...
友邦保险(01299.HK)走... 友邦保险(01299.HK)走势与财报综合研判数据口径说明 事实:行情截至2026年11月20日港股...
《史记》:在纪传体的人物命运里... 一、为什么在众多史书里先读《史记》如果把《史记》仅仅当作一本上古史来读,很容易被它的时间跨度吓退。它...
擤鼻涕为什么不能两边一起用力:... 感冒时鼻子堵得难受,很多人习惯用手指捏紧两侧鼻孔,憋一口气猛地向外擤,觉得这样才痛快、才擤得干净。可...
《哈姆雷特》:在延宕与追问中读... 在莎士比亚的所有剧作里,《哈姆雷特》是最常被提起、也最难以被一句话概括的一部。它表面写的是一场王子复...
《局外人》:在荒诞世界里拒绝表... 一、为什么要读这本书在世界文学的众多经典里,《局外人》是一本篇幅极短却后劲极大的书。它是法国作家阿尔...
心音传感器是什么?贴在胸口就能... 医生用听诊器听心跳,这个动作已经有两百年历史了。但听诊器本质上就是一根传声管子,靠耳朵分辨细微的"咚...
《高老头》:在金钱堆砌的巴黎里... 一、为什么读这本书在巴尔扎克浩大的《人间喜剧》里,《高老头》常被视为真正奠基的一部。它发表于一八三四...
《双城记》:在仇恨与仁爱之间读... 一、为什么在今天重读《双城记》重读《双城记》,多半不是冲着"法国大革命"这个宏大题目去的,而是被开篇...
《雪国》:一场徒劳的爱里,读懂... 一、为什么要读《雪国》在很多人的印象里,日本文学似乎总带着一种说不清的湿冷与克制,而《雪国》正是这种...
《聊斋志异》:一盏青灯下的鬼狐... 一、为什么今天还要读《聊斋志异》很多人对《聊斋志异》的印象停留在影视剧里的倩女幽魂,以为它不过是一部...
中国移动无绳电话是什么业务?长... 很多人在移动营业厅或者老家亲戚家里见过一种奇怪的机器:看着跟普通座机一模一样,带话机、带按键、还带免...
《水浒传》:在官逼民反的江湖里... 一、为什么在这个时代重读《水浒传》在中国古典长篇小说里,很少有哪一部像《水浒传》这样,把“江湖”二字...