字节跳动万卡集群技术细节曝光!

近日,字节跳动联合北京大学的研究团队发表了一篇论文,提出一个用于训练大语言模型的生产系统MegaScale,解决在万卡集群上训练大模型时面临的效率和稳定性挑战。