这项由纽约大学计算机科学系的龙艺涛（Yitao Long）、刘洪君（Hongjun Liu）以及该校格罗斯曼医学院的沈艺秋（Yiqiu Shen）教授领导的研究团队，联合浙江大学、耶鲁大学和纽约州立大学布法罗分校的研究人员，在2025年10月发表了一项突破性研究成果。这篇题为"PUZZLEPLEX: Benchmarking Foundation Models on Reasoning and Planning with Puzzles"的论文首次提出了一个全新的AI能力评估框架，有兴趣深入了解的读者可以通过论文编号arXiv:2510.06475v1查询完整内容。

现在的AI就像是参加各种考试的学生，有些擅长数学，有些善于写作，但很少有人能全面考察它们在复杂问题解决上的真实水平。研究团队意识到，当前的AI评估方法就像只测试学生背书能力，却不考查他们面对全新挑战时的应变能力。为了填补这个空白，他们设计了一个全新的"考试系统"——PUZZLEPLEX，这是一个专门用拼图游戏来测试AI推理、规划和决策能力的综合平台。

这个平台的特别之处在于，它不仅考查AI能否正确回答问题，还要看AI能否像程序员一样编写代码来解决问题。就好比既要测试医生的诊断能力，又要看他们能否亲自动手术一样。研究团队发现，那些被称为"推理模型"的AI在对话式问题解答中表现出色，就像优秀的咨询师能给出很好的建议，但当需要它们编写实际可执行的代码时，表现却大打折扣，仿佛这些"咨询师"虽然理论丰富，但动手能力有限。

一、PUZZLEPLEX平台的创新设计理念

传统的AI测试就像标准化考试，题目相对固定，答案也比较明确。但现实世界的问题往往复杂多变，需要多步推理和灵活应对。研究团队想到了用拼图游戏作为测试工具，这个想法听起来简单，实际上却非常巧妙。拼图游戏天然具备了测试复杂思维能力的所有要素：需要逻辑推理、需要长期规划、需要在不确定性中做决策，还需要从局部失败中学习和调整策略。

PUZZLEPLEX包含了15种不同类型的拼图游戏，就像一个游戏厅里有各种不同的挑战项目。有些游戏是单人闯关模式，测试AI独立解决问题的能力；有些是双人对战模式，考验AI的策略思维和竞争意识。更有趣的是，有些游戏结果是确定的（每次相同操作得到相同结果），有些则带有随机性（相同操作可能产生不同结果），这就像现实生活中有些事情可以完全预测，有些则需要在不确定性中做最佳选择。

这个平台的另一个创新点是支持两种完全不同的测试方式。第一种叫"指令式评估"，就像人与人对话一样，AI通过自然语言与系统交互，说出自己的每一步行动。第二种叫"代码式评估"，AI需要编写完整的程序代码来解决问题，就像程序员写软件一样。这种双重评估方式让研究人员能够全面了解AI的不同层面能力。

二、十五种拼图游戏的巧妙设计

研究团队精心挑选和设计的这15种拼图游戏，每一种都针对特定的认知能力进行测试。比如有一个叫"SudoKill"的游戏，它基于数独游戏改编，但增加了竞争元素——两个玩家轮流在数独网格中填数字，谁先犯错谁就输。这个游戏不仅测试数学逻辑能力，还考验策略规划，因为你不仅要保证自己不出错，还要想办法让对手陷入困境。

另一个有趣的游戏叫"整理塔楼"（TidyTower），玩家需要操控一摞彩色方块，通过旋转使所有方块的同一面都朝向前方。这就像整理书架，看似简单，实际上需要仔细规划每一步操作的顺序，因为后面的操作会影响前面已经整理好的部分。

还有一类游戏专门测试AI在不确定环境中的决策能力。比如"红宝石风险"（Ruby Risks）游戏，AI需要在不知道每个宝箱具体内容的情况下，决定从每个宝箱中取多少宝石。如果要求的数量超过宝箱实际含量，就什么都得不到；如果要求过于保守，又会错失收益机会。这种游戏模拟了现实中的投资决策——在信息不完全的情况下做出最优选择。

为了测试AI的视觉理解能力，研究团队还设计了图文结合的游戏版本。在这些游戏中，AI不仅要理解文字说明，还要分析游戏状态的视觉图像，就像人类玩家看到棋盘后决定下一步棋一样。

三、两种截然不同的评估方式揭示AI能力差异

研究团队设计的双重评估体系揭示了一个令人意外的发现。在指令式评估中，那些专门训练过推理能力的AI模型表现优异，就像经验丰富的顾问能够清楚地解释问题和给出建议。这些模型能够用自然语言详细描述自己的思考过程，分析当前局面，制定行动计划，甚至在出错时能够反思和调整策略。

然而，当要求这些AI编写代码来解决相同问题时，情况发生了戏剧性的变化。代码式评估要求AI不仅要理解问题，还要用编程语言准确实现解决方案，这就像要求理论专家亲自上手操作一样困难。研究发现，在代码式评估中，AI的表现普遍下降，而且一些在指令式评估中表现一般的非推理模型，在代码式评估中的表现反而相对稳定。

这种差异反映了一个深刻的问题：擅长推理和善于编程是两种不同的能力。推理能力让AI能够分析问题、制定策略，但编程能力需要将抽象思维转化为精确的计算机指令。就像一个优秀的建筑师未必是最好的施工队长一样，能够进行复杂推理的AI未必能够编写出正确的程序代码。

研究团队还发现了另一个有趣现象：代码式评估虽然表现较差，但具有独特的优势。一旦AI成功编写出正确的代码，这段代码就可以重复使用，处理同类型的多个问题实例。而且，通过多次采样（让AI生成多个不同的代码解决方案，然后选择最佳结果），代码式方法的性能可以显著提升，有时甚至能够接近或超越指令式方法。

四、令人意外的模型表现排名

在这个全新的评估框架下，AI模型的表现排名出现了一些意想不到的结果。传统上被认为最先进的一些商业AI模型并没有占据绝对优势，反而一些开源模型表现出了强劲的竞争力。特别是DeepSeek-R1这个开源推理模型，在综合评分中甚至超越了一些知名的商业模型。

这个发现有点像体育比赛中的"爆冷门"——那些不被看好的选手反而取得了优异成绩。DeepSeek-R1在指令式评估中获得了0.62的标准化得分，超过了Gemini-2.5-pro的0.58分。这表明，在复杂的推理和规划任务中，模型的规模大小和商业化程度并不直接决定其能力水平。

更有趣的是，研究团队发现，相对较小的QwQ-32B模型在某些任务上的表现甚至超过了一些参数量更大的模型。这就像在马拉松比赛中，有时候经验丰富的老将能够战胜体格更强壮的年轻选手一样。这个发现挑战了"模型越大越好"的传统观念，提示我们应该更加重视模型的训练方法和专业化程度。

在双人对战游戏中，AI模型之间的表现差异更加明显。一些模型在策略游戏中表现出色，能够制定长期计划并预测对手行为；而另一些模型则在需要快速反应的游戏中更有优势。这种差异化表现反映了不同AI模型可能具备不同类型的"智能特长"。

五、深度剖析：多样化提示策略的效果

研究团队还深入探讨了各种"提示策略"对AI表现的影响。提示策略就像是给AI的"使用说明书"——告诉它应该如何思考和回答问题。这个发现对于理解AI的工作机制非常重要。

其中最令人意外的发现是，有时候给AI提供更少的历史信息反而能获得更好的结果。在"整理塔楼"游戏中，当研究人员移除了AI之前的推理步骤历史记录后，AI的表现竟然显著提升。这就像有些学生在考试时，如果不去回忆之前可能做错的题目，反而能更好地专注于当前问题。这个现象揭示了当前AI模型在长序列推理中可能存在的局限性——过多的历史信息有时会成为"干扰项"而非"参考资料"。

另一个有效的策略是"合法候选项提示"，即明确告诉AI当前可以采取哪些合法行动。这种方法显著提升了AI的表现，特别是对于那些专门训练过推理能力的模型。这就像给迷路的人提供一张标明了所有可行路径的地图，能够大大提高他们找到正确方向的概率。

研究还发现，"思维树"（Tree of Thoughts）这样的高级推理技术在某些游戏中有帮助，但效果并不总是显著。这提示我们，复杂的技术不一定总是带来更好的结果，有时候简单直接的方法可能更加有效。

六、视觉理解能力的参差不齐

在图文结合的游戏测试中，AI模型表现出了明显的能力分化。高性能模型如o4-mini和GPT-4.1在处理包含图像信息的游戏时表现出色，能够准确理解游戏状态的视觉表示，并据此做出正确决策。这就像有些人天生具备良好的空间感知能力，能够通过观察快速理解复杂的视觉信息。

然而，一些相对较弱的模型在处理视觉信息时就显得力不从心了。比如Phi-4-multimodal模型在某些视觉任务中的表现甚至比纯文本版本更差，这表明简单地添加视觉处理能力并不能自动提升AI的整体表现。这种现象类似于一个人戴上了不合适的眼镜，反而看得更不清楚了。

这个发现对于多模态AI的发展具有重要启示。它表明，真正有效的多模态AI需要各种能力之间的深度整合，而不仅仅是简单的功能叠加。就像优秀的电影导演不仅要懂得视觉艺术，还要理解如何将视觉与故事情节完美结合一样。

七、计算资源与性能的微妙关系

研究团队还深入分析了AI模型使用计算资源的方式与其性能之间的关系。他们发现，推理模型和非推理模型在"思考"方式上存在根本差异。推理模型就像深思熟虑的棋手，会花费大量时间分析局面，生成的文本（反映其思考过程）通常比非推理模型多5到10倍。

更有趣的是，对于推理模型来说，思考时间和表现质量之间存在正相关关系——花费更多时间"思考"通常能带来更好的结果。这就像人类在解决复杂问题时，给予更多思考时间往往能得出更好的解决方案。相比之下，非推理模型无论给多少时间，表现都相对稳定，没有明显提升。

在代码生成任务中，这种差异更加明显。推理模型在编写代码时消耗的计算资源大约是其他模型的10倍，但成功率的提升并不总是与资源消耗成正比。这个发现提醒我们，在实际应用中需要在性能和效率之间找到平衡点。

八、不同类型游戏揭示的AI能力短板

通过对不同类型游戏的详细分析，研究团队发现了AI在各个认知维度上的具体表现。在需要纯逻辑推理的游戏中，大多数AI模型都表现不错，就像优秀的数学学生能够熟练解决代数问题。但当游戏涉及空间推理、长期规划或不确定性处理时，AI的表现就开始出现分化。

特别值得注意的是，在需要"换位思考"的双人游戏中，AI模型普遍表现出一定的局限性。这些游戏要求AI不仅要考虑自己的最优策略，还要预测对手的可能行动，这种"二阶思维"对当前的AI来说仍然是一个挑战。就像在下棋时，优秀的棋手不仅要考虑自己的下一步，还要猜测对手的应对策略。

在涉及概率和风险评估的随机性游戏中，AI模型的表现也参差不齐。一些模型能够很好地处理不确定性，制定出相对稳健的策略；而另一些模型则容易被随机因素"迷惑"，难以做出一致性的决策。这反映了AI在处理现实世界不确定性方面仍有很大改进空间。

九、开源与商业模型的激烈竞争

PUZZLEPLEX的测试结果显示了开源AI模型与商业模型之间日益激烈的竞争态势。传统上，商业模型由于拥有更多资源和数据，通常在各种基准测试中占据优势地位。但在这个复杂的推理和规划测试中，开源模型展现出了强大的竞争力。

DeepSeek-R1作为开源模型的代表，在多个维度上的表现都可圈可点，甚至在某些任务上超越了知名的商业模型。这种现象类似于开源软件领域中Linux与Windows的竞争——开源方案通过社区协作和开放创新，逐渐缩小甚至超越了商业产品的优势。

这种竞争格局对整个AI行业具有重要意义。它表明，AI能力的提升不再是少数大公司的专利，开源社区同样能够产出具有竞争力的成果。这为更广泛的研究者和开发者参与AI创新提供了可能性，也推动了整个行业的快速发展。

十、发现的局限性与未来挑战

研究团队诚实地承认了PUZZLEPLEX平台目前存在的局限性。首先，虽然15种游戏已经覆盖了多个认知维度，但相对于人类智能的复杂性来说，这个覆盖面仍然有限。就像用几道菜来评判一个厨师的全部技能一样，可能无法完全反映其真实水平。

其次，由于计算资源和时间限制，研究团队无法测试所有最新发布的AI模型。AI领域发展极其迅速，几乎每个月都有新的模型发布，因此任何基准测试的结果都只能反映特定时间点的情况。

另一个值得注意的局限是，PUZZLEPLEX主要测试的是AI的"冷启动"能力——即在没有针对性训练的情况下解决新问题的能力。在实际应用中，AI通常会经过专门的微调和优化，这可能会显著改变其在特定任务上的表现。

研究团队还发现，当前的AI模型在多步推理任务中仍然存在一致性问题。有时候，模型在游戏初期表现出色，但随着步骤增加，推理质量会逐渐下降。这就像一个人在长跑过程中体力逐渐消耗，后半程的表现可能不如开始时那样稳定。

十一、对AI发展方向的深刻启示

PUZZLEPLEX的研究成果对未来AI发展提供了多个重要启示。首先，它表明专门的推理训练确实能够提升AI在复杂任务中的表现，但这种提升主要体现在交互式的问题解决中，而在程序生成等需要精确执行的任务中，效果相对有限。

这个发现提示AI研究者需要在不同类型的能力之间寻找更好的平衡。就像培养全面发展的学生一样，既要注重理论思维能力，也要重视实践操作技能。未来的AI系统可能需要整合多种专门化的组件，每个组件负责特定类型的任务。

研究还揭示了测试时计算缩放（test-time compute scaling）的巨大潜力。对于推理模型来说，投入更多的计算资源进行"思考"通常能带来更好的结果。这为未来AI系统的设计提供了新的思路——也许我们不应该只关注让AI回答得更快，而应该让它们"思考"得更深入。

另一个重要启示是多模态能力整合的复杂性。简单地将文本和视觉处理能力叠加并不能自动产生更强的综合能力，真正有效的多模态AI需要各种能力之间的深度融合和协调。

说到底，PUZZLEPLEX项目最大的价值在于为AI能力评估提供了一个全新的视角。它不仅仅是又一个基准测试，更是一面镜子，让我们看到当前AI技术的真实水平和未来发展的方向。通过拼图游戏这种看似简单却内涵丰富的测试方式，研究团队成功地揭示了AI在推理、规划和决策方面的复杂能力图谱。

这项研究表明，AI的发展正在从单纯的模型规模竞争转向能力质量的比拼。开源社区的崛起、专业化训练的重要性、多模态整合的挑战性，以及效率与性能之间的权衡，都将成为未来AI发展需要重点关注的方向。对于普通用户来说，这意味着我们将看到更加智能、更加实用的AI工具，它们不仅能够进行简单的对话，还能帮助我们解决复杂的现实问题。

同时，这项研究也提醒我们保持理性的期待。当前的AI虽然在某些方面表现出色，但在复杂推理、长期规划和不确定性处理方面仍有很大改进空间。真正的通用人工智能之路依然漫长，但每一项像PUZZLEPLEX这样的研究都在为我们照亮前进的方向。

Q&A

Q1：PUZZLEPLEX平台是什么？它与其他AI测试有什么不同？

A：PUZZLEPLEX是纽约大学团队开发的AI能力评估平台，使用15种拼图游戏来测试AI的推理、规划和决策能力。与传统测试不同，它既考查AI的对话式问题解答能力，又测试AI编写代码解决问题的能力，就像既要测试理论知识又要考察实践技能。

Q2：为什么推理模型在对话中表现好，但编程能力较差？

A：推理模型就像优秀的顾问，能够清楚地分析问题和给出建议，但将抽象思维转化为精确的计算机指令是另一种技能。这类似于建筑师和施工队长的区别——善于规划设计的人未必擅长具体操作，这反映了推理能力和编程能力是两种不同的认知技能。

Q3：开源AI模型真的能与商业模型竞争吗？

A：PUZZLEPLEX测试显示，开源模型如DeepSeek-R1在复杂推理任务中的表现甚至超越了一些知名商业模型，获得0.62分超过Gemini-2.5-pro的0.58分。这表明AI能力提升不再是大公司专利，开源社区通过协作创新同样能产出具有竞争力的成果。