MiniMax正式开源M3.1 Flash权重:总参数428B、激活23B 多家芯片厂商首日接入 - 果核剥壳

10月23日消息,MiniMax稀宇科技今日宣布正式开源MiniMax M3.1 Flash的模型权重,总参数428B,激活参数23B。

MiniMax正式开源M3.1 Flash权重:总参数428B、激活23B 多家芯片厂商首日接入

相较于上一代M3模型,M3.1 Flash的模型能力实现了全面提升。此外,通过全模型稀疏注意力、量化感知训练和Power-aware scheduling等优化工作,M3.1 Flash进一步提升了推理效率:

全模型稀疏注意力:前三个全注意力层替换为稀疏注意力;

QAT(量化感知训练):路由MoE专家迁移到W4A4(共享专家除外),稀疏注意力索引器和主分支从Q8KV8迁移到Q8KV4;

Power-aware scheduling(功耗感知调度):通过对计算卡功耗的精细分配,保持计算卡持续维持算力高位,极致压榨硬件效率。

值得注意的是,M3.1 Flash于10月19日上线,72小时内真实用户处理超过100万亿Token。

生态接入方面,MiniMax宣布携手华为昇腾、平头哥、昆仑芯、摩尔线程、壁仞、海光、沐曦、天数、英伟达、AMD等海内外芯片厂商,以及Together AI、Fireworks、Nebius、Baseten、Modal、DigitalOcean等推理和云服务平台,共同推进M3.1 Flash的开源首日接入。

此外,vLLM、SGLang、智源FlagOS和Hugging Face、魔搭等推理框架与开源社区,也将与MiniMax一齐推动模型在不同芯片、云平台和开发环境中的应用,持续拓展全球AI开源生态。

 

 

如果您喜欢本站,点击这儿不花一分钱捐赠本站

这些信息可能会帮助到你: 下载帮助 | 报毒说明 | 进站必看

修改版本安卓软件,加群提示为修改者自留,非本站信息,注意鉴别

赞 (0)
上一篇 3小时前
下一篇 3小时前

相关推荐

发表回复

评论问题之前,点击我,能帮你解决大部分问题

您的电子邮箱地址不会被公开。 必填项已用*标注