小米官方今天正式宣布，開源首個為推理（Reasoning）而生的大模型——Xiaomi MiMo。
據介紹，Xiaomi MiMo在數學推理（AIME 24-25）和代碼競賽（LiveCodeBench v5）公開測評集上，MiMo僅用7B的參數規模，超越了OpenAI的閉源推理模型o1-mini和阿里Qwen更大規模的開源推理模型QwQ-32B-Preview。
官方表示，MiMo 推理能力的提升，由預訓練和后訓練階段中數據和算法等多層面的創新聯合驅動。包括：
預訓練：核心是讓模型見過更多推理模式
數據：著重挖掘富推理語料，并合成約200B tokens推理數據。
訓練：進行了三階段訓練，逐步提升訓練難度，總訓練25T tokens。
后訓練：核心是高效穩定的強化學習算法和框架
算法：提出 Test Difficulty Driven Reward 來緩解困難算法問題中的獎勵稀疏問題，并引入 Easy Data Re-Sampling 策略，以穩定 RL 訓練。
框架：設計了Seamless Rollout系統，使得RL訓練加速2.29倍，驗證加速1.96倍。
所有技術細節已經Open，見技術報告。
MiMo-7B全系列已開源MiMo-7B 已開源4個模型至HuggingFace。
