史上最全大语言模型训练中的网络技术盘点

大语言模型的爆发式增长对网络提出了更高要求,产学研各界纷纷开始探索,围绕网络架构、网络协议等取得了丰富的实践进展。本文由中兴团队操刀,不同于SDNLAB以往编发的只是局限于网络协议类详解的文章,本文从多维……

揭秘 Meta 最新大规模AI集群技术细节!

近日,Meta 对外披露了其最新的AI基础设施部署,新推出了两个拥有2.4万个GPU的集群(共 49152 个 H100),这是其AI基础设施路线图中的一项重大举措。该公司的雄心壮志并未止步于此,Meta 表示会持续扩大基础设施建……

AMD ROCm能否跨越英伟达CUDA 护城河?

在GPU领域英伟达毫无疑问是绝对的领导者,凭借其强大的CUDA构筑了一道坚不可摧的“护城河”。而与此同时,AMD多年来一直努力通过其开源的ROCm软件提供替代方案,形成了一场激烈的竞争。