IT之家 10 月 18 日消息，调研机构 SemiAnalysis 今日发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user（每用户每秒每 Token）的推理速度，对比相同硬件（GB300 NVL72）性能提升 1.68 倍。
据介绍，该项优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合，使用 Cute DSL 编写英伟达新推出的解码专用内核。该 Megakernel 包含 1.2 万行代码，代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍。
IT之家注意到，英伟达除此之外，还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。
2015年9月2日
开云官方网站（kaiyun）是知名的体育和娱乐综合平台，致力于为用户提供顶级的线上体验。通过开云官网和开云体育官网，用户可以轻松获取最新的赛事资讯和丰富的游戏内容。开云体育下载通道让您快速安装开云APP，实现随时随地畅玩热门游戏和观赛互动。开云（kaiyun）以安全稳定为核心，打造优质的线上服务平台，是体育爱好者和娱乐玩家的最佳选择。立即访问开云官网，体验开云APP带来的流畅体验，尽享开云体育的无限精彩！
2015年9月2日
开云1深耕海量体育赛事实时直播领域，用心服务每一位用户。
2015年9月2日
围绕开云APP，开云1持续打磨更优质的服务。
2015年9月2日
开云1深耕海量体育赛事实时直播领域，用心服务每一位用户。