多模态智能时代,AI模型遭遇“空间推理危机"
创始人
2025-07-03 17:12:16

说起人工智能的发展,我们总是被各种"AI超越人类"的新闻轰炸。Claude能写诗,GPT-4能看图说话,最新的模型甚至能理解视频内容。当这些看似无所不能的AI遇到真正需要空间思维和多步骤推理的复杂问题时,会发生什么呢?

就像一个看似聪明的学生在遇到真正需要动脑筋的数学应用题时突然卡壳一样,目前最先进的多模态语言模型,在面对复杂的空间推理任务也时常表现得相当糟糕。这并不是因为这些AI不够先进,而是因为真正的智能推理比我们想象的要复杂得多。

这个问题的核心在于,现有的AI测试基本上都像是在考"填空题"——给AI一张图片和一个问题,它只需要从图片中找到答案就行了。但真实世界的问题往往需要像侦探破案一样,把多个线索串联起来,制定一个详细的行动计划,还要考虑各种物理限制和空间约束。

正是基于这样的思考,来自苏黎世联邦理工学院的研究团队开发了一个名为MARBLE(MultimodAl Reasoning Benchmark for Language modEls)的测试套件。这个名字听起来很学术,但它的本质就是一个"AI智力测试的地狱模式"。这个基准包含两个极具挑战性的任务:M-Portal和M-Cube,它们要求模型在空间、视觉和物理约束下制定和理解多步骤计划。

研究人员想要找出现有AI模型在复杂推理方面的真实水平,就像给学霸出一套特别难的综合应用题,看看他们到底有多少真本事。

传送门的迷宫——M-Portal任务的复杂世界

M-Portal任务受到知名谜题游戏《传送门2》的启发,这是一个第一人称视角的谜题游戏。在这个游戏中,玩家需要通过放置两个传送门来克服障碍物和通过房间,玩家可以在这两个传送门之间瞬移。游戏的一个关键机制是动量守恒:当玩家以给定速度进入一个传送门时,他们会以相同的相对动量从第二个传送门出来。这使得创造性的穿越策略成为可能,比如通过将重力驱动的下落与传送门放置相结合来跳跃穿越大间隙或越过障碍物。

为了让这个任务更容易理解,我们可以把它想象成一个复杂的物理世界中的导航问题。假设你身处一个充满各种机关和障碍的房间,你需要通过巧妙地使用传送门技术来激活按钮、移动物体、操控激光束和牵引光束等各种设备,最终达到出口。这就像是解决一个多维度的连锁反应谜题,每一步操作都可能影响后续的行动路径。

M-Portal的数据收集过程非常严谨。研究团队让一位在《传送门2》方面经验丰富的人类标注员浏览《传送门2》社区测试室中评分最高的地图。他们专注于社区测试室,因为这些房间往往是独立的、定义明确的单房间问题。标注员选择了16个获得用户最高评分的高质量地图,这些地图形状紧凑,适合在几张截图内捕获。

整个M-Portal任务包含1024个问题,分为两种评估类型:计划正确性和填空任务,各占512个问题。在计划正确性任务中,模型需要判断给定的候选计划是否正确。这是一个二元分类任务,需要回答是/否问题。这个任务比填空任务更困难,因为模型必须仔细审查可能包含数十个步骤的冗长候选计划,这些计划涉及各种空间和物理约束以及依赖关系。

填空任务相对容易一些,模型接收到解决传送门地图的部分计划,其中几个步骤被掩盖。为了填充缺失的步骤,模型需要从五个错误或干扰选项中以正确顺序选择五个正确选项。即使这个任务对于朴素随机基线来说很困难,但对于能够解释多模态输入以及部分解决方案的模型来说,应该更容易识别正确的缺失步骤,特别是因为错误步骤也会以高度相似的选项形式出现在正确版本中。

立体拼图的挑战——M-Cube任务的三维世界

如果说M-Portal是一场空间导航的考验,那么M-Cube就是一次立体几何的终极挑战。这个任务受到Happy Cube拼图的启发,这是1986年由Dirk Laureyssens发明的机械拼图。在这个任务中,模型需要面对从5×5×5立方体面上取下的6个拼图块,每个拼图块都有其边缘上的凸起和凹槽图案特征。

要理解M-Cube任务的复杂性,我们可以把它想象成一个立体版的拼图游戏。你有六块形状奇特的拼图片,每一块都有复杂的凸起和凹槽图案。你的任务是将这些拼图片组装成一个完美的立方体,其中边缘无缝对齐,没有间隙或重叠。为了解决M-Cube任务,多模态语言模型需要为每个拼图片分配一个立方体面并确定正确的方向,也就是说,需要相应地旋转和翻转拼图片以与其他拼图片对齐。

对于每个问题,多模态语言模型必须考虑6!种可能的拼图片到面的分配(模去旋转对称性),对于每个拼图片,还有8种离散的旋转和翻转状态,这导致了候选解的组合爆炸。在这个巨大的搜索空间中,考虑到互锁凸起和凹槽图案施加的几何约束,只有极少数解是有效的。András等人报告说,大多数商业可用的立方体只有一个解(在旋转等价性下),这使得这是一个具有挑战性的推理问题。

虽然M-Cube任务受到Happy Cube拼图的启发,但研究团队合成生成了所有样本。数据生成管道从5×5×5立方体开始,将表面分解为6个互锁拼图片。每个拼图片可以视为5×5网格,其中中心3×3区域始终保留。对于位于边缘的其余单元格,研究团队随机将每个单元格分配给大5×5×5立方体的相邻面之一,以创建沿边界的凸起和凹槽图案。

为了控制难度级别,研究团队创建了两个子任务:CUBE和CUBE-easy,每个子任务包含1000个示例。CUBE-easy是CUBE的简化版本,简化体现在三个方面:首先,输入拼图片被表示为二维数组而不是渲染图像,以减少多模态语言模型的感知错误;其次,每个拼图都经过特别设计,使得解决方案不需要翻转任何拼图片;第三,在提示中提供了4个拼图片排列的部分解决方案,只留下2个缺失的拼图片需要放置。

令人震惊的测试结果——AI巨头们的集体"落榜"

当研究团队用MARBLE基准测试来评估12个最先进的多模态语言模型时,结果令人震惊。在M-Portal任务的计划正确性评估中,所有被调查的模型(包括多模态语言模型和纯文本语言模型)表现都非常糟糕,少数类F1分数约为6%,与随机基线相似。这就像是让一群成绩优异的学生去参加一场全新类型的考试,结果所有人的成绩都和随机猜测差不多。

在相对较容易的填空任务中,12个模型中有8个的表现超过了随机基线。特别是与随机基线相比,DeepSeek-R1、Claude-3.7-Sonnet、DeepSeek-R1-0528、Gemini-2.5-pro和GPT-o3的性能差距很大(≥5%),这些模型显著优于所有其他模型。然而,即使是表现最好的模型GPT-o3,也只能正确解决17.6%的问题。

更令人震惊的是M-Cube任务的结果。在更难的CUBE子任务中,所有先进的多模态语言模型都完全失败,获得了0%的准确率,尽管花费了超过10000个token来思考这些问题。这就像是给工程师们一个看似简单的立体拼图,结果所有人都无法完成。结果突出了CUBE中涉及的复杂多模态推理过程,其中模型必须通过长推理链进行验证和回溯迭代,以做出最终答案。

相比之下,在简化的CUBE-easy任务中,12个前沿模型中有6个能够表现得比随机猜测更好。其中,GPT-o3取得了72.0%准确率的卓越表现,大大优于第二好的模型GPT-o4-mini,后者只达到了16%。尽管经过简化,在CUBE-easy上花费的推理token数量仍然与CUBE相同或略高,这表明CUBE-easy对于大多数现有的多模态语言模型来说已经是一个具有挑战性的任务。

感知与推理的双重瓶颈

研究团队进一步分析发现,多模态语言模型的失败源于两个关键瓶颈:感知错误和推理局限。在感知方面,为了解决M-Cube拼图,第一步是理解视觉输入并检索相关信息,这是之后推理步骤的基础。研究团队设计了一个感知任务来测量多模态语言模型是否能够正确地从输入图像中提取信息:给定3D视角下的拼图块,要求模型将拼图块转换为5×5数组。

令人惊讶的是,研究团队发现所有模型在每个单元格上只能达到约70%的准确率。最好的感知性能来自Gemini-2.5-pro,准确率为76%,这意味着模型仍然可能偶尔出错。结果,所有模型在整个拼图片上的准确率都是0%。这些结果突出表明,即使是先进的多模态语言模型在这个看似简单的感知任务上也有困难,这为复杂场景(如CUBE)中的多模态推理构成了潜在瓶颈。

在推理方面,除了感知错误,M-Cube由于来自所有6个拼图片的可能排列和方向组合的巨大搜索空间,仍然是一个极具挑战性的问题。CUBE包含6!×8^6=188,743,680种可能的解决方案。相比之下,CUBE-easy只包含32种可能的解决方案,假设空间减少了500万倍。为了将推理挑战与感知限制分离,研究团队手动将视觉输入转换为相应的文本数组。他们比较了DeepSeek-R1在不同搜索空间配置下的性能。该模型在只有一个缺失拼图片的最简单设置中获得了57%的准确率。然而,随着搜索空间的扩大,性能急剧下降,当超过3个拼图片缺失时降至0%。

工具辅助的迭代改进尝试

面对如此困难的任务,研究团队还探索了一种更接近真实问题解决过程的方法:让模型使用解决方案验证器作为工具来收集反馈并迭代改进其响应。在每一轮中,模型提出候选解决方案并使用解决方案验证器进行评估。基于验证器的反馈,模型可以在下一轮中迭代地改进其响应,朝着更好的解决方案发展。

研究团队设计了两种类型的反馈:二元反馈,简单地以黑盒方式指示解决方案是否正确;详细反馈,不仅验证解决方案的正确性,还提供诊断信息,例如立方体的哪些边缘存在冲突。在CUBE-easy任务上,两种类型的反馈都显著提高了性能,详细反馈始终优于二元反馈,在5轮交互后将性能从10%提高到28%的准确率,这表明诊断信息的价值。

然而,在更具挑战性的CUBE数据集上,无论反馈类型如何,使用解决方案验证器工具的性能仍然保持在0%,这突出了当前多模态语言模型在解决更难的多模态推理问题方面的局限性。这种多步骤设置使得M-Cube内的迭代改进成为可能,通过解决方案验证器的反馈,紧密反映了人类如何处理现实世界问题——通过初步尝试、从环境中收集反馈并相应地改进策略。

至顶AI实验室洞见

这项研究揭示了一个令人深思的现象:当前被我们视为"智能"巅峰的AI模型,在面对需要真正空间推理和多步规划的任务时,表现得如此不尽人意。

MARBLE基准测试的价值不仅在于暴露了现有模型的局限性,更在于为未来的模型发展指明了方向。它告诉我们,真正的人工智能不仅需要在语言理解和生成方面表现出色,还需要具备在复杂空间环境中进行推理和规划的能力。

这项研究对普通人的生活可能会产生深远影响。当我们期待AI能够在机器人技术、自动驾驶、增强现实等需要空间理解和规划的领域发挥重要作用时,MARBLE的结果提醒我们,这条路还很长。不过,正如研究历史告诉我们的那样,越困难的挑战往往能推动技术的突破性进展。MARBLE基准测试的出现,很可能会激发新一代多模态模型的开发,这些模型将具备更强的空间推理和多步规划能力。

对于那些对AI技术发展感兴趣的读者,不妨思考这样一个问题:如果连目前最先进的AI模型都无法很好地处理空间推理任务,那么我们距离真正的通用人工智能还有多远?也许MARBLE的挑战正是推动我们走向更高层次AI的必要催化剂。

论文地址:

https://arxiv.org/pdf/2506.18701v1

END

本文来自至顶AI实验室,一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破,挖掘其潜在的应用场景,为企业和个人提供切实可行的解决方案。

Q&A

Q1:MARBLE基准测试是什么?为什么说它比现有的测试更有挑战性?

A:MARBLE是专门评估多模态语言模型空间推理和规划能力的基准测试,包含M-Portal和M-Cube两个任务。与现有测试不同,MARBLE不仅考察最终答案的正确性,更关注推理过程本身,要求模型在复杂的物理约束下制定多步骤计划,这比简单的问答或事实检索要困难得多。

Q2:为什么包括GPT-4在内的先进AI模型在MARBLE测试中表现如此糟糕?

A:主要原因有两个:感知瓶颈和推理局限。在感知方面,模型难以准确理解视觉输入中的结构化信息;在推理方面,面对巨大的搜索空间和复杂的多步骤规划需求,现有模型的推理能力严重不足。这表明当前的AI模型在真正的空间推理和规划方面还有很大的改进空间。

Q3:MARBLE测试的结果对AI技术发展有什么意义?

A:MARBLE的结果揭示了当前多模态AI模型的重要局限性,指出了未来研发的关键方向。它表明我们需要开发能够进行复杂空间推理和多步规划的新一代模型,这对于机器人技术、自动驾驶、增强现实等需要空间理解的应用领域至关重要。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

《喧哗与骚动》:在破碎的意识里... 一、为什么读这本"最难读"的经典在诺贝尔文学奖得主福克纳的作品里,《喧哗与骚动》被公认是他心血花得最...
《哈克贝利·费恩历险记》:在密... 一、为什么要读这本被反复重估的经典在《汤姆·索亚历险记》里,哈克只是那个赤着脚、被镇上大人又怕又嫌的...
《撒哈拉的故事》:在黄沙与烟火... 一、为什么在今天还要读《撒哈拉的故事》很多人认识三毛,是从那首关于流浪的歌开始的。她像一个永远在路上...
《奥德赛》:在十年漂泊里读懂智... 一、读过《伊利亚特》,为什么还要读《奥德赛》很多人把荷马史诗当作一个整体,读完《伊利亚特》的刀光剑影...
meego软件是什么来头?诺基... 搜“meego软件”的人,大概是这几种:翻出来一台吃灰的诺基亚N9想找找还有没有应用能装,或者看老烧...
《人类群星闪耀时》:在历史的偶... 一、在宏大叙事之外,看见历史的表情我们通常读历史,读到的是王朝更替、战争胜负、制度兴衰,那些被反复书...
《美狄亚》:在背叛与复仇之间追... 一、为什么读这本书在古希腊悲剧里,我最不愿轻易翻开的就是《美狄亚》。它不是那种读来让人痛快淋漓的复仇...
《道林·格雷的画像》:在永葆青... 一、为什么在今天重读这本书我之所以重新翻开《道林·格雷的画像》,是因为它几乎是文学史上把"美"这件事...
毫米波的应用到底有哪些?从车上... 搜“毫米波的应用”的人,多半是被某个具体东西逼着来查的:车上仪表盘后面藏着的那个雷达、运营商宣传里的...
《漂亮朋友》:一张漂亮面孔如何... 一、为什么读这本书在莫泊桑的众多作品里,中短篇往往更早被中国读者熟知,《项链》《羊脂球》几乎家喻户晓...
《伊利亚特》:在阿喀琉斯的愤怒... 一、为什么翻开这部史诗很多人对《伊利亚特》的印象停留在特洛伊木马和阿喀琉斯之踵这两个典故上,真正翻开...
《镜花缘》:借海外奇国照见男女... 一、为什么翻开这本书在清代长篇小说里,《镜花缘》是一部很难被归类的作品。它没有《红楼梦》那样细密的家...
《东方快车谋杀案》:十二刀背后... 一、为什么又读了一遍这本推理名作在阿加莎·克里斯蒂浩繁的作品里,《东方快车谋杀案》大概是被改编得最多...
《死魂灵》:在含泪的笑里读懂一... 一、为什么读这本被书名耽误的经典第一次听说《死魂灵》时,我以为它是鬼怪小说,因而迟迟没有翻开。真正读...
《艰难时世》:在“事实”崇拜里... 一、为什么在最“讲求实际”的年代读它在一个把“有用”奉为最高标准的年代,重读狄更斯一八五四年出版的《...
《三个火枪手》:在人人为我的誓... 一、为什么在今天还要读这三个火枪手提起大仲马,很多人先想到的是《基督山伯爵》里那个隐忍十四年的复仇者...
《绿山墙的安妮》:在红发与幻想... 一、为什么在成年之后重读安妮起初以为这是一本写给孩子的书,真正翻开才发觉,它更像是一封写给所有曾经敏...
《浮士德》:一场灵魂赌约里的求... 一、为什么在今天重读这部诗剧歌德的《浮士德》是一部用近六十年写成的长篇诗剧,从青年时代的《浮士德片断...
《老残游记》:赃官可恨,清官为... 一、为什么重读这本晚清谴责小说提起晚清四大谴责小说,很多人的第一印象是痛骂贪官、揭露黑暗。《老残游记...
《神曲》:一场三界漫游里的理性... 一、为什么在今天重读《神曲》但丁·阿利吉耶里是十三世纪意大利最具标志性的诗人,也是现代意大利语的奠基...
《金银岛》:在寻宝与叛变之间读... 一、为什么在今天重读《金银岛》很多人把《金银岛》归进"童年冒险故事",以为它不过是藏宝图、独腿海盗和...
《奥赛罗》:一条手帕如何点燃嫉... 一、为什么在四大悲剧里重读《奥赛罗》莎士比亚的四大悲剧中,《奥赛罗》常被视为最"好看"也最令人窒息的...
快手-W(01024.HK)走... 快手-W(01024.HK)走势与财报综合研判数据口径说明 事实:本文行情与技术指标来自 westo...
电梯里为什么要装一面镜子:无障... 几乎每个人都在电梯里照过镜子,顺手整理一下头发和衣领。很多人以为这面镜子只是为了让人爱美,或者让狭小...
五粮液(000858)走势与财... 数据口径说明事实:本文行情为 2026-11-20 收盘数据(腾讯自选股行情接口),财报取自接口最新...