小米开源“Xiaomi MiMo”大模型，7B参数超越OpenAI o1-mini
创始人
2025-04-30 23:15:40
0次
小米大模型团队通过“Xiaomi MiMo”公众号宣布，今天（4 月 30 日），小米开源首个“为推理而生”的大模型 Xiaomi MiMo，联动预训练到后训练，全面提升推理能力。
据介绍，MiMo 是来自全新成立不久的“小米大模型 Core 团队”的初步尝试。
在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上，MiMo 仅用 7B 的参数规模，超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。
官方表示，MiMo 推理能力的提升，由预训练和后训练阶段中数据和算法等多层面的创新联合驱动，包括：
预训练：核心是让模型见过更多推理模式
数据：着重挖掘富推理语料，并合成约 200B tokens 推理数据。
训练：进行了三阶段训练，逐步提升训练难度，总训练 25T tokens。
后训练：核心是高效稳定的强化学习算法和框架
算法：提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题，并引入 Easy Data Re-Sampling 策略，以稳定 RL 训练。
框架：设计了 Seamless Rollout 系统，使得 RL 训练加速 2.29 倍，验证加速 1.96 倍。
IT之家附开源地址：
Hugging Face：https://huggingface.co/XiaomiMiMo
技术报告：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf
来源：IT之家
相关内容
热门资讯
兰博基尼门怎么开 兰博基尼门怎...
要打开兰博基尼的车门，您需要先找到车门上的长条按键。当您轻轻按住这个按键时，车门会开始向上方斜向提起...
科目二扣分明细 科目二扣分明细...
以下是科目二考试扣分点的详细介绍：1、倒车入库。如果未按照规定路线行驶，将扣100分。在倒车过程中，...
中石化的油和小加油站的区别 中...
中石化的油和小加油站的区别： 1. 质量不同：作为国营大加油站，中石油的油品质量绝对让人放心。由于使...
宝马音响用的什么品牌的 宝马音...
宝马车音响的品牌有：美国Bose、哈曼卡顿、丹麦BO音响。汽车音响是为减轻驾驶员和乘员旅行中的枯燥感...
教练证需要几年驾龄 教练证需要...
学车教练证在2015年已经取消，现在需要考的是等级资格证。报考的基础条件是五年的驾龄并且三年无重大事...
h2s可以拆吗 h2s可以拆吗...
h2s可以拆吗？h2s不可以拆，因为氢硫酸属于弱酸，不能拆。h2s是一种无机化合物，化学式为h2s，...
曲轴后油封在哪个位置 曲轴后油...
曲轴后油封的位置是在与变速箱连接处。曲轴油封损坏，会导致渗油，严重时导致发动机渗油，造成发动机运转不...
拖车需要注意什么 拖车需要注意...
拖车需要注意哪些方面？拖车需要注意以下几个方面： 拖车杆的选择：拖车行驶分为软拖和硬拖。软拖是在被...
预约科目二显示未参加培训 预约...
当您尝试预约机动车驾驶证科目二考试时，系统提示“未参加培训”，这可能是由多种因素造成的：首先，可能是...
临牌怎么申请流程 临牌怎么申请...
申请临时牌照的流程如下： 1. 首先，需要填写一份临时车牌申请表，表格中填写车辆的相关信息和车主的个...