小米进军大模型,最擅长“以小博大”。
4月30日,小米宣布开源首个为推理而生的大模型Xiaomi MiMo。值得注意的是,其经过强化学习训练形成的MiMo-7B-RL模型,用仅仅70亿的参数,在多项权威基准测试中得分超过了OpenAI的闭源推理模型o1-mini 和阿里通义千问320亿参数的QwQ-32B-Preview,实现了“以小博大”。
受此消息影响,今日小米股价涨5.37%,金山云和金山软件更是分别大涨14.20%和7.07%。业内人士认为,小米作为国产头部的手机品牌厂商,此次开源的小参数规模模型展现了较强的性能,为AI在手机端侧的应用和运行提供了更坚实的模型基础。
小米开源MiMo推理大模型
4月30日,小米宣布开源首个为推理而生的大模型Xiaomi MiMo。据介绍,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型 QwQ-32B-Preview。
以70亿的小规模参数,实现了卓越的性能,MiMo展现了小米“以小博大”的能力。据悉,这一成绩的取得,主要源于团队在预训练和后训练的数据和算法方面进行了多层组合创新努力。预训练是让模型领略更多的推理模型,而后训练则是打磨高效稳定的强化学习算法及框架。
具体来看,MiMo背后包含了许多技术细节,包括使用改进的组相对策略优化(GRPO)算法进行训练,移除KL(Kullback-Leibler散度)损失、动态采样和增加上界裁剪等策略;提出测试难度驱动的奖励机制,将测试用例按难度分组,并根据难度分配奖励;采用易数据过滤和重采样策略,提高采样效率并稳定策略更新等等。
小米大模型团队也已公开了MiMo的技术报告,展现了相关的技术细节。此外,MiMo-7B全系列已开源,包括预训练模型MiMo-7B-Base,监督微调模型MiMo-7B-SFT以及强化学习模型MiMo-7B-RL和MiMo-7B-RL-Zero。
小米大模型团队表示,MiMo来自于全新成立不久的“小米大模型Core团队”的初步尝试。业内人士普遍认为,MiMo的开源标志着AI发展从盲目追求参数规模转向注重算法效率和能力密度的理性发展期,通过技术创新,小模型同样可以实现高效率、大智慧,带来“性价比革命”。
小米全面发力AI大模型
随着MiMo模型的开源,小米刚刚成立不久的小米大模型Core团队也终于浮出水面。小米创始人雷军曾在2023年表示,自2016年组建AI团队以来,到2023年4月第一时间成立专职大模型团队,经过多次扩展,小米AI团队相关人员规模已达3000多人,逐步建立了视觉、语音、声学、知识图谱、NLP、机器学习、多模态等AI技术能力。
小米大力“押宝”大模型早在去年底便已有消息传出。DeepSeek-V3爆火之后,背后的AI“天才少女”罗福莉引发了大众的关注,彼时就有媒体报道称,雷军以千万年薪招揽DeepSeek开源大模型DeepSeek-V2的关键开发者之一罗福莉,领导小米AI大模型团队。
此外,小米也搭建了自己的GPU万卡集群,并持续提升算力储备,为大模型研发提供更充分的算力供给。今年3月,小米发布2024年报,明确2025年将投入70亿元以上资金用于AI研发,约占总研发经费的1/4,重点聚焦AI基础设施、大模型开发及应用场景搭建。
从招兵买马到“补充弹药”,小米全面发力AI大模型,将AI视为下一个“新战场”。值得注意的是,与其他大模型厂商追求高性能、大参数不同,小米大模型主攻轻量化、本地部署,也是业界第一个在手机芯片上跑通十亿参数规模大语言模型,验证了端侧小模型在部分目标场景可以取得媲美云端大模型效果。
雷军曾表示,“小米拥有品类众多的设备,是全球规模领先的消费级物联网平台。设备多样,使用场景也各不相同,一个大模型难以兼顾。如果把一部分大模型能力下放到端侧,不仅能更好地保护用户隐私、而且有机会在本地实现千人千面的个性化定制。”因此,在训练策略上,小米一直致力于减少参数的浪费,达到效率和效果的最佳均衡。
同时,小米发力AI,致力于将大模型与自身业务深度协同,围绕硬件生态做深场景,让AI真正服务于产品。目前,小米的AI技术能力已逐步接入手机、汽车、AIoT、机器人等业务板块,端侧赋能加速。业内人士认为,小米作为国产头部的手机品牌厂商,此次开源的小参数规模模型展现了较强的性能,为AI在手机端侧的应用和运行提供了更坚实的模型基础。
中信建投研报表示,大模型能力不断迭代增长,但模型之间差异在缩小。这些技术需要在终端设备上应用落地,最终通过这些应用/终端实现商业价值的转化,从而形成一个从投资到变现的完整闭环。目前,Meta、字节、小米等巨头已经开始大力布局端侧AI,抢夺AI Agent入口。除了手机、PC、眼镜、耳机外,潜在的端侧AI基数巨大,家电、机器人、智能车、教育办公设备、玩具等都受益于端侧AI的趋势,AI嵌入将带来广泛的硬件升级。重点关注算力、存储、连接、电力等硬件环节。
责编:万健祎
校对:廖胜超
《浏览器p7ycc免费》,《w3u7903ejky2ywls》国产婬妇❌❌❌❌❌x88
“男男顶撞喘嗯啊H小男生动漫”
宁荣荣张开双腿被强❌游戏
……
05月09日
“英语老师的饺子好水呀!”朱志鑫打耳骨钉了
↓↓↓
05月09日,姹紫嫣红!徐州4万余株牡丹花竞相绽放,男同🔞被🌿出水动漫aPP,小🐔🐔伸进🈲🔞视频网站,成人18禁秘啪啪免费,和平精英18禁漫画网站
05月09日,中科卫星空天信息产业基地“落户”合肥 集中签约一批重点项目,扒开腿做❌,Y丫aSS明泬PicS大全,荷兰顶级A片巜熟妇的荡欲,肥美女鲍
05月09日,浙江衢州:发布超6500个岗位招才引智,巨茎少年与少妇,女同炒菜❌到爆,丰满老妇好大BBBBB贡洲熟妇,公翁晚上吃我奶头子
05月09日|巴西男子劫持公交车幸无人员伤亡|特种兵被改造成精牛的背景故事|火辣御妇被❌到高潮喷出www|女学生被c扒衣在线观看|陈冠希全集解压密码
05月09日|美国一名男子被指控对副总统哈里斯发出死亡威胁|91在线无精精品㊙️在线观看|🔺国产免费叼嘿网站免费看|【快穿】肉玩具系统(H,简体)|俄罗斯胖老太做爰
05月09日|【小新的Vlog】次元壁破了!“歪果仁”在青海玉树过起了游牧生活|成人🔞免费A片10086欧美|成人🔞高潮片免费软件|撕开👙🍌进屁股视频|日本做受❌❌❌高潮97张……
05月09日,国产大型水陆两栖飞机AG600完成沉积静电地面试验,1887预订,新兰啪啪做爰高潮污文,男女又爽又黄冰块视频漫画,触手怪❌进胡桃尿孔里小说
05月09日,广西万村篮球赛市级赛揭幕 东盟国家留学生参与,JAV丶HD❌❌❌中文,白色丝袜美女被❌视频网站,麻豆➕传媒➕国产➕,成品视频crm999
05月09日|青年英才“燕归来” 山西忻州聚青春力量振兴家乡|七龙珠十八号❌黄漫羞羞网站|美女扒开腿秘男人爽桶|奶咪宝石骑士免费观看第三季|uoco福利姬❤最新pr社
05月09日,家电企业跨界机器人赛道蔚然成风 人形机器人成焦点,茜特拉莉被摁在床做,中国做受影片,Gay2022Gay打桩机,伊丽莎白·奥尔森被❌网站
05月09日,四川康定山洪泥石流已致12人遇难15人失联,八重神子被雷电将军砍了一刀,琳妮特被扒开粉嫩的屁股,第五人格女角色h文,森甘雨内衣女生
05月09日,茶专家:新中式茶饮助力中国茶叶消费升级,3D男♂男被❌吸乳羞羞漫画,王心凌被C到高潮,王昭君被❌吸乳脱内内图片,女同被调教黄秘B站
05月09日|多国卫生部长北京共话传统医药传承发展|aqdybp社保片最新版本更新内容|别告诉妈妈mama下载|小樱被到爽流片自慰|脱👙让学生C🐻-百度动漫
05月09日|青海海东首批地震灾后重建项目已开工建设|中国美女➕光屁屁➕露全身|苍井空性做爰A片|白丝校🌸脱白丝娇喘|少妇扒开双腿自慰出白浆视頻
05月09日|青海木里矿区生态环境损害赔偿金到账8.65亿元|小舞乳液乱飙🚺👙作文|r34worldundertalechara|清纯大学生扒开双腿自慰|蒂法3D同人18❌AV黄漫网站
yuyanjia爆料老头杯奖金发虎牙币,自行车吧大神提车答疑|医生化身“蜘蛛侠”徒手攀爬50米塔吊救人|诺艾尔被丘丘人弄出白色液体|高清码🔞❌♋裸身网站视频|陈冠希雁门照片高清在线播放|FerrPorno馃拫馃憴18
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺