編輯：澤南、楊文
與其他全開(kāi)源模型相比，性能提升2-5倍。
小參數(shù)模型也進(jìn)入了 R1 時(shí)代，這次開(kāi)源出新技術(shù)的是 Meta。
本周五，Meta AI 團(tuán)隊(duì)正式發(fā)布了 MobileLLM-R1。
HuggingFace 鏈接：https://huggingface.co/collections/facebook/mobilellm-r1-68c4597b104fac45f28f448e
試用鏈接：https://huggingface.co/spaces/akhaliq/MobileLLM-R1-950M
這是 MobileLLM 的全新高效推理模型系列，包含兩類模型：基礎(chǔ)模型 MobileLLM-R1-140M-base、MobileLLM-R1-360M-base、MobileLLM-R1-950M-base 和它們相應(yīng)的最終模型版。
它們不是通用的聊天模型，而是監(jiān)督微調(diào) (SFT) 模型，專門針對(duì)數(shù)學(xué)、編程（Python、C++）和科學(xué)問(wèn)題進(jìn)行訓(xùn)練。
除了模型本身之外，Meta 還發(fā)布了完整的訓(xùn)練方案和數(shù)據(jù)源，以確保可重復(fù)性并支持進(jìn)一步的研究。
值得注意的是，該系列參數(shù)最大的 MobileLLM-R1 950M 模型僅使用約 2T 高質(zhì)量 token 進(jìn)行預(yù)訓(xùn)練，總訓(xùn)練 token 量少于 5T，但在 MATH、GSM8K、MMLU 和 LiveCodeBench 基準(zhǔn)測(cè)試中，其性能與使用 36T token 進(jìn)行訓(xùn)練的 Qwen3 0.6B 相當(dāng)或更佳。
與現(xiàn)有的完全開(kāi)源模型相比，盡管參數(shù)規(guī)模明顯更小，MobileLLM-R1 950M 模型在 MATH 基準(zhǔn)上的準(zhǔn)確率也比 Olmo 1.24B 模型高出約五倍，比 SmolLM2 1.7B 模型高出約兩倍。此外，MobileLLM-R1 950M 在編碼基準(zhǔn)測(cè)試中的表現(xiàn)遠(yuǎn)超 Olmo 1.24B 和 SmolLM2 1.7B ，在完全開(kāi)源模型中創(chuàng)下了新的最高水平。
Token 效率的比較如下：
后訓(xùn)練比較：
模型架構(gòu)：
MobileLLM-R1 的發(fā)布引起了機(jī)器學(xué)習(xí)社區(qū)的討論。人們歡迎通義、Meta 等頂尖大模型團(tuán)隊(duì)基于小體量模型的探索。這一方向的訓(xùn)練成本較為低廉，可以更加方便嘗試各類最新論文提出的技術(shù)，更重要的是，模型體量的下降也意味著它可以覆蓋更多端側(cè)設(shè)備，實(shí)現(xiàn)更大面積的落地。
隨著訓(xùn)練成本普遍下降，我們將會(huì)得到更好的模型。
背后三位華人作者
在 MobileLLM-R1 系列發(fā)布的同時(shí)，背后的作者們也正式亮相，他們表示，該工作的研發(fā)時(shí)間有一年之久。該項(xiàng)目由華人領(lǐng)銜。
Zechun Liu
Zechun Liu 是 Meta AI 的研究科學(xué)家，專注于大模型和基礎(chǔ)模型的高效部署與優(yōu)化。
她的研究涉及大語(yǔ)言模型的預(yù)訓(xùn)練與后訓(xùn)練，神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)與搜索，量化、剪枝與稀疏性，知識(shí)蒸餾以及高效的視覺(jué) - 語(yǔ)言模型等，目標(biāo)是在計(jì)算資源有限的環(huán)境中實(shí)現(xiàn)高性能模型的推理和部署。
2016 年，她在復(fù)旦大學(xué)獲得本科學(xué)位，2019 年至 2021 年在卡內(nèi)基梅隆大學(xué)擔(dān)任訪問(wèn)學(xué)者，導(dǎo)師為 Marios Savvides 教授和 Eric Xing（邢波）教授。2021 年 6 月獲得香港科技大學(xué)的博士學(xué)位，師從 Kwang-Ting Tim CHENG 教授。
Zechun Liu 在頂級(jí)會(huì)議和期刊上發(fā)表了 20 多篇論文，其論文引用量達(dá)到了數(shù)千次。
Ernie Chang
Ernie Chang 是 Meta AI 的研究科學(xué)家，專注于自然語(yǔ)言處理、多模態(tài)學(xué)習(xí)和高效模型部署等領(lǐng)域。
他于 2023 年 2 月加入 Meta，參與了多個(gè)前沿項(xiàng)目的研究和開(kāi)發(fā)。
在他的研究中，Ernie Chang 參與了多個(gè)重要的項(xiàng)目和論文。例如，他是《Agent-as-a-Judge: Evaluate Agents with Agents》一文的共同作者，該論文提出了一種新的評(píng)估方法，通過(guò)代理模型對(duì)其他代理模型進(jìn)行評(píng)估，從而提高評(píng)估效率和準(zhǔn)確性。
此外，他還參與了《MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》的研究，該研究致力于優(yōu)化小語(yǔ)言模型，以適應(yīng)移動(dòng)設(shè)備上的應(yīng)用需求。
Ernie Chang 的研究興趣包括多語(yǔ)言處理、多模態(tài)系統(tǒng)等。
Changsheng Zhao（趙常盛）
Changsheng Zhao 是 Meta AI 的研究科學(xué)家，專注于自然語(yǔ)言處理、深度學(xué)習(xí)和大語(yǔ)言模型的高效部署與優(yōu)化。
他本科畢業(yè)于北京大學(xué)，后在哥倫比亞大學(xué)攻讀碩士學(xué)位，畢業(yè)后去了三星美國(guó)研究員擔(dān)任研究員，2021 年加入 Meta。
在 Meta，Changsheng Zhao 參與了多個(gè)前沿研究項(xiàng)目，主要集中在模型量化、神經(jīng)網(wǎng)絡(luò)架構(gòu)和多模態(tài)系統(tǒng)等領(lǐng)域。 部分代表性工作包括：
ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization：探討極低比特量化在大語(yǔ)言模型中的縮放定律，幫助平衡模型大小與準(zhǔn)確率。
Llama Guard 3-1B-INT4：參與開(kāi)發(fā) Meta 的開(kāi)源 Llama Guard 模型變體，這是一個(gè)緊湊高效的 1B 參數(shù) INT4 量化版本，于 2024 年 Meta Connect 活動(dòng)中開(kāi)源，用于 AI 安全和內(nèi)容過(guò)濾。
? THE END
轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)
投稿或?qū)で髨?bào)道：liyazhou@jiqizhixin.com
