新一代"AI 工厂"的算力账怎么算？9 月 16 日，NVIDIA 用 MLPerf Inference v6.1 的首次公开成绩给出了答案：Vera Rubin NVL72 单机架推理吞吐最高比上一代 GB300 高 3.7 倍——意味着同样的电与钱，能产出更多 token、服务更多用户。对工程师和企业来说，这是理解"推理经济学"最硬的一手数据。
图片来源：Pexels
首发即领先，扩展近线性
NVIDIA 于 9 月 16 日在博客公布 Vera Rubin NVL72 的 MLPerf Inference v6.1 首次预览提交结果，要点如下：
首发即领先：在 MLPerf 最严苛的两个基准 DeepSeek-R1 与 Qwen3-VL 上提交。Vera Rubin NVL72 在 Qwen3-VL 上（vLLM + NVIDIA Dynamo 开源推理框架）吞吐较 GB300 NVL72 高 最高 3.7 倍；在 DeepSeek-R1 上（TensorRT-LLM）高 最高 2.5 倍。
扩展效率：GB300 NVL72 从单机架（72 GPU）扩到四机架（288 GPU），离线场景达 99% 扩展效率，吞吐近乎线性增长——证明"加 GPU 不等于按比例加吞吐"靠的是架构、互联与软件一起 scaling。
软件持续增益：v6.1 相较 v6.0 靠 KV cache 精度下调、kernel 融合、disaggregated serving 等优化，GB300 在 Qwen3-VL 上性能提升 最高 1.6 倍。
智能体基准：在 SemiAnalysis AgentX 这类多步推理基准的预览测试中，Vera Rubin NVL72 较 GB300 高 30 倍；即将到来的 MLPerf Endpoints 会把智能体推理纳入标准化测评。
把 token 成本压下来，才是真赚钱的地方
技术底座上，增强版 Tensor Cores 与 Transformer Engine 加速 prefill/decode；NVFP4 精度压缩权重/注意力/KV cache 显存；disaggregated serving 拆分 prefill 与 decode + 大规模专家并行；第六代 NVLink 提供 10 倍包速率、3 倍低延迟的机架内互联。19 家生态伙伴（ASUS、Azure、Cisco、CoreWeave、Dell、HPE、Oracle、Supermicro 等）参与提交，Nebius 也独立提交了 Vera Rubin NVL72 结果作为第三方印证。
数据独立性说明：MLPerf 成绩源自基准联盟 MLCommons 官方库（NVIDIA 文内标注 entry 6.1-0106 / 6.1-0074 / 6.1-0073），属可公开核验的一手基准；Nebius 独立提交构成第二独立来源。对 AI 数据工程师方向，模型能力之外，把 token 成本压下来才是 AI 工厂真正赚钱的地方——推理成本、扩展效率、MoE 推理、KV cache 精度，是工程落地不可回避的要点。
来源：NVIDIA 官方博客《Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut》