KRAFTON AI开源Raon-1 mini预览版 30B-A4B MoE架构 - 果核剥壳

10月26日消息,韩国知名游戏企业KRAFTON(魁匠团)旗下人工智能分支KRAFTON AI本周公布了其从头训练的Raon-1 mini模型的预览版本,该模型的正式版和后续的更大模型即将推出。

KRAFTON AI开源Raon-1 mini预览版 30B-A4B MoE架构

Raon-1 mini采用混合专家架构,导入线性注意力,支持推测解码,整体体量为30B-A4B(实际为28.8B总参数、每token激活4.3B)。该模型聚焦韩语的同时兼顾英语性能,以Apache 2.0许可开源——这意味着不仅研究用途,商业服务和产品开发也可免费使用。KRAFTON AI还在官网提供限时免费API试用(Playground)。

KRAFTON AI表示,预览版的Raon-1 mini在编程与智能体任务上与Meta的Muse Glimmer 30B相当,同时速度更快、内存效率更高;此外其能进行自然的对话。

从模型卡披露的细节看,该模型为25层混合布局:18层采用自研的Raon Delta Attention(RDA,基于Kimi Delta Attention改进,解耦擦除与写入门控以提升长上下文表现),7层保留Gated MLA全注意力,KV缓存约8 KiB/token(BF16),原生支持262,144 tokens上下文。MoE部分为128个路由专家中每token激活6个外加1个共享专家。

配套优化方面,官方同步发布DFlash2草案模型用于推测解码,在单张NVIDIA B300上输出吞吐最高可达自回归解码的2.18倍;提供MXFP8和NVFP4两种量化格式,其中NVFP4可在单张32GB显存的RTX 5090上运行推理。

基准数据方面,据KRAFTON披露:推理类GPQA Diamond得分84.3、AIME 2026得分93.3,均领先同体量MoE模型Qwen3.6-35B-A3B和Gemma 4 26B-A4B;指令遵循IFBench得分84.2;智能体网页浏览BrowseComp Plus得分55.7;韩语对话内部评测Chatbot Korean得分92.9,明显高于对比模型。不过在MMLU Pro(76.5)等部分知识类、长上下文评测上低于对比模型。KRAFTON同时说明,这是预览版本而非最终模型,规格和结果在正式版发布前仍可能调整。

KRAFTON首席AI官姜宇炅(Kang Woo-kyung)表示:“这是我们依托五年以上AI研发能力,独立开发出具备竞争力的语言模型的成果。我们将以高性能、低成本的高性价比LLM,把AI应用范围扩展至各行各业。”

 

如果您喜欢本站,点击这儿不花一分钱捐赠本站

这些信息可能会帮助到你: 下载帮助 | 报毒说明 | 进站必看

修改版本安卓软件,加群提示为修改者自留,非本站信息,注意鉴别

赞 (0)
上一篇 2小时前
下一篇 2小时前

相关推荐

发表回复

评论问题之前,点击我,能帮你解决大部分问题

您的电子邮箱地址不会被公开。 必填项已用*标注