蚂蚁百灵开源Ling-3.1-flash：总参数560B、激活25B，支持1M上下文 - 果核剥壳

10月16日消息，蚂蚁百灵昨日宣布开源Ling-3.1-flash模型。该模型总参数约560B，每个Token激活约25B，最高支持1M上下文。

在Artificial Analysis的公开评测中，Ling-3.1-flash的智能指数为41、输出速度约为每秒210 Token。

针对本地部署，团队对routed experts采用MXFP4量化、dense层保持block-FP8，权重占用从约534GB降至292GB。在对应的Hopper GPU测试配置中，服务部署由8卡降至4卡，让具备服务器级GPU的团队以更少卡数运行模型；实际需求仍随上下文、并发量和服务配置而变。

针对长资料处理，团队提供长上下文并行推理方案（PCP / DCP）；工具调用也加强了对JSON Schema的支持，方便与现有业务接口对接。

在企业知识问答、办公助手等需要先读取较长资料、同时用户希望尽快看到回复的场景中，团队通过算子融合与DSpark投机解码减少推理开销：在平均输入约25.47K Token、输出约224 Token、缓存命中率为76%的模拟生产请求中，8卡Hopper配置下的平均首Token时间为604毫秒，相邻输出Token平均间隔为3.28毫秒。这为长资料输入后的交互响应提供测试参考。

对于需要持续提供服务的业务系统，团队还在固定GPU预算内评估了单实例的请求承接能力：在平均输入约8.5K Token、输出约800 Token的4卡Hopper吞吐测试中，模型达到约1.36 QPS，同时满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的测试约束。这为自有部署的容量规划提供参考。