在Computex 2024上，英伟达宣布推出 Rubin GPU 架构，这是Blackwell的继任者。Rubin GPU 将于 2026 年问世，支持 8-Hi HBM4 堆栈，随后还将推出支持 12-Hi HBM4堆栈的 Rubin Ultra GPU。英伟达还发布了一款名为 Vera 的强大 CPU 。
从“Pascal” P100 GPU 一代到“Blackwell” B100 GPU 一代，八年间 GPU 的性能提升了 1,000 倍。预计Blackwell将于2024 年下半年开始出货。
在 Blackwell 方面，黄仁勋表示，10,000 GPU 集群的 MTBF 以小时为单位。100,000 GPU 集群的 MTBF 以分钟为单位。这就是 GB200 配备 RAS 引擎的原因。
他还在现场展示了Blackwell芯片主板，称这是“世界上最复杂、性能最高的计算机”。
下图展示了在 1.8 万亿参数、8 万亿 token 数据驱动模型的情况下训练 GPT-4 混合模型 LLM 所需的能力：
黄仁勋表示，10,000 个 Blackwell GPU训练 GPT-4 1.8T MoE 模型大约需要 10 天的时间。
黄仁勋没有介绍每一代需要多少 GPU 来运行 GPT-4 1.8T MoE 基准测试，以及这些 GPU 或电力在运行时的成本是多少。TheNextPlatform根据其所说的需要大约 10,000 个 B100 来训练 GPT-4 1.8T MoE 大约十天，制作了一个表格。
在这八年中，GPU 价格上涨了 7.5 倍，但性能却提高了 1,000 多倍。
下图是英伟达最新的路线图。
在 Hopper 一代，最初的 H100 于 2022 年推出，具有六层 HBM3 内存，并配有一个具有 900 GB/秒端口的 NVSwitch 将它们连接在一起，还配有 Quantum X400（以前称为 Quantum-2）InfiniBand 交换机，具有 400 Gb/秒端口和 ConnectX-7 网络接口卡。
2023 年，H200 升级为六层 HBM3E 内存，具有更高的容量和带宽，这提高了 H200 封装中底层 H100 GPU 的有效性能。BlueField 3 NIC 也问世了，它为 NIC 添加了 Arm 内核，以便它们可以执行附加工作。
2024 年，Blackwell GPU 推出八层 HBM3e 内存，并与具有 1.8 TB/秒端口的 NVSwitch 5、800 Gb/秒 ConnectX-8 NIC 以及具有 800 GB/秒端口的 Spectrum-X800 和 Quantum-X800 交换机配对。
我们现在可以看到，到 2025 年，B200（上图称为 Blackwell Ultra）将拥有 8 叠 HBM3e 内存，每叠有 12 个芯片高。B100 中的叠层大概是 8 叠，因此这应该代表 Blackwell Ultra 上的 HBM 内存容量至少增加 50%，甚至可能更多，具体取决于所使用的 DRAM 容量。HBM3E 内存的时钟速度也可能更高。
英伟达对 Blackwell 系列的内存容量一直含糊其辞，但根据 3 月份 Blackwell 发布会的内容，预计B100 将拥有 192 GB 内存和 8 TB/秒带宽。随着未来的 Blackwell Ultra 的推出，预计会有更快的内存，即使是 288 GB 内存和 9.6 TB/秒带宽也不会太令人惊讶。
英伟达计划每年推出Spectrum-X新品，提供更高的带宽、更多的端口、更加强大的软件功能集与可编程能力，不断提高AI以太网网络性能。
英伟达展示了 ConnectX-8 时代的 51.2T Spectrum-X800 Ultra，并制定了 ConnectX-9 NIC 和 1.6Tbps 网络时代的 102.4T 交换机路线图。
计划在 2025 年实现 800Gbps 网络（对于单个主机来说需要 PCIe Gen6），然后在 2026 年实现 1.6Tbps 网络。
2026 年英伟达将推出“Rubin”R100 GPU，它在去年发布的路线图中曾被称为 X100。Rubin GPU 将使用 HBM4 内存，并将有 8 个堆栈，大概每个堆栈都有 12 个 DRAM，而 2027 年的 Rubin Ultra GPU 将有 12 个 HBM4 内存堆栈。
Rubin平台将配备一款更强大的 Arm 服务器 CPU，也就是当前“Grace”CPU 的后续产品“Vera”CPU，以及采用NVSwitch 6芯片（端口速度为3.6 TB/sec）、ConnectX-9（端口速度为1.6 Tb/sec）。有趣的是，还有一种名为 X1600 IB/以太网交换机的产品，这可能意味着英伟达正在融合其 InfiniBand 和以太网 ASIC，就像迈络思十年前所做的那样。
