【学习笔记】深度学习分布式系统

深度学习分布式系统前言1.数据并行：参数服务器2.流水线并行：GPipe3.张量并行：MegatronLM4.切片并行：ZeRO5.异步分布式：PATH...

发布时间：2023-10-02分类：程序开发学习浏览：107评论：0