摘要： 訓練大規(guī)模神經網絡通常會出現(xiàn)單個計算節(jié)點的內存和計算能力不足的情況，需要通過多個節(jié)點分布式訓練來實現(xiàn)?，F(xiàn)有的分布式深度學習框架主要針對特定的硬件環(huán)境設計，不能夠有效適應各類通用計算設備。為支持大規(guī)模深度神經網絡的高效訓練，實現(xiàn)了一種通用的自動流水線并行分布式訓練框架。本框架通過結合基于流水線并行的模型并行策略與神經網絡模型自動拆分算法，實現(xiàn)了在包括國內新一代超級計算機在內的通用... （共8頁）