一家做 AI 推理芯片的创业公司,最难的不是把芯片造出来。而是把它塞进能大规模运行的整套平台——网络、机架、供电、散热、供应链,哪一样都得从头搭。d-Matrix 选择借 NVIDIA 的 NVLink Fusion,把自己的下一代 XPU 直接接进现成生态。
9 月 10 日,d-Matrix 宣布将使用 NVIDIA 的 NVLink Fusion。
它要把下一代 Raptor XPU,接进 NVIDIA 的 AI 基础设施平台。
具体来说,它一次性拿到了几样现成的东西。
往内,用 NVLink 做 scale-up(纵向扩展),把芯片与芯片连起来。
往外,用 Spectrum-X 以太网做 scale-out(横向扩展),把多台机器连起来。
再套上 MGX 机架架构,和整套 NVIDIA AI 平台。
对一家创业公司来说,这等于拿到一条从"定制芯片"到"大规模部署"的加速通道,而且风险更低。
图片来源:Pexels
一句话点出本质
d-Matrix CEO Sid Sheth 的表述很直接。
他说,推理需求在飙升,但资本、时间和能源都是有限的。
有了 NVLink Fusion 和 MGX,他们可以把 Raptor XPU 装进一套已经被广泛部署的液冷架构里。
客户因此能更快、更低风险地拿到超低延迟的推理部署。
这句话点出了 NVLink Fusion 的本质。
NVIDIA 把自家平台的"开放接口",从 GPU 延伸到了 XPU 和 CPU。
做芯片的人只需要专心把处理器做好,规模化部署这件事,交给 NVIDIA 的基础设施。
更务实的一层:一个机架,装三种芯片
还有一层更朴素,但对数据中心更值钱。
机房建一次,就能同时支持 GPU、CPU 和 XPU。
不必再为每一类处理器,单独搭一套机架。
d-Matrix 还计划把 Vera CPU、ConnectX-9 SuperNIC、BlueField-4 DPU 和 Spectrum-X 以太网一起集成进去。
并且可以和 Vera Rubin NVL72 这类 GPU 系统配合,做"分解式推理"。
也就是把推理的不同环节,拆到最合适的硬件上去跑。
图片来源:Pexels
对算力认知的影响
这条新闻最大的价值,是让人看清 AI 工厂的真实形态。
它不是一个堆满 GPU 的房间,而是一套异构计算系统。
GPU、CPU、XPU 在同一套平台里,按不同的活,分配不同的芯片。
对 AI 大数据工程师来说,这意味着部署架构的选型多了一个维度。
不只看单卡跑得多快,还要看数据怎么在这套混合硬件上进得来、传得动、算得起。
"谁快谁赢"的阶段正在过去,"怎么搭得更划算"才是接下来的问题。
来源:NVIDIA 官方博客《d-Matrix Adopts NVIDIA NVLink Fusion for Rack-Scale XPU Deployment》