10月19日消息，调研机构SemiAnalysis发文称，英伟达通过一项上游vLLM优化，让2.8万亿参数量的Kimi K3模型实现423 tok/s/user（每用户每秒每Token）的推理速度，对比相同硬件（GB300 NVL72）性能提升1.68倍。
据介绍，该项优化由英伟达CentML工程师Benjamin完成。其技术方案通过大规模Megakernel融合，使用Cute DSL编写英伟达新推出的解码专用内核。该Megakernel包含1.2万行代码，被视为AI辅助生成高级计算内核的未来方向。
从技术细节看，该优化针对NVIDIA Blackwell GPU的8卡或16卡配置，覆盖batch size 1至64的解码场景，并支持面向长上下文的解码上下文并行。在内核层面，原本每层需23个内核、耗时130微秒的标准vLLM解码路径，被压缩至13个内核、69微秒。
值得注意的是，英伟达还在为vLLM开发DeepSeek V4.1等其他模型的优化，这一Megakernel融合路线有望在更多主流开源模型上复制。
微信扫一扫 
支付宝扫一扫 