用Horovod實(shí)現(xiàn)大規(guī)模分布式深度學(xué)習(xí)

用Horovod實(shí)現(xiàn)大規(guī)模分布式深度學(xué)習(xí)技術(shù)創(chuàng)新，變革未來綱要分布式深度學(xué)習(xí)原理介紹Horovod使用方法高級功能案例分析：美國橡樹嶺國家實(shí)驗(yàn)室新功能預(yù)覽深度學(xué)習(xí)原理回顧分布式深度學(xué)習(xí)的基本方法模型并行數(shù)據(jù)并行數(shù)據(jù)并行原理用參數(shù)服務(wù)器實(shí)現(xiàn)數(shù)據(jù)并行用Ring-AllReduce實(shí)現(xiàn)數(shù)據(jù)并行參數(shù)服務(wù)器

Ring-AllReduce優(yōu)缺點(diǎn)分析優(yōu)點(diǎn)缺點(diǎn)參數(shù)服務(wù)器理論容錯性強(qiáng)支持異步89:額外網(wǎng)絡(luò)開銷，擴(kuò)展效率低Ring-AllReduce性能好，大規(guī)模訓(xùn)練資源利用率高網(wǎng)絡(luò)占用率最優(yōu)容錯性差(MPI)Horovod分布式深度學(xué)習(xí)插件

基于Ring-AllReduce方法

一套插件，支持多種流行架構(gòu)：TensorFlow，Keras，PyTorch，MxNet

通用環(huán)境配置，獨(dú)立于架構(gòu)

容易安裝和使用

pipinstall

horovod單機(jī)程序稍加修改即可實(shí)現(xiàn)分布式學(xué)習(xí)

性能高效

支持MPI，NCCL，RDMA，GPUDirecthorovod.aiHorovod內(nèi)部架構(gòu)可擴(kuò)展效率：90%+Horovod已經(jīng)在業(yè)界被廣泛使用綱要分布式深度學(xué)習(xí)原理介紹

Horovod使用方法高級功能案例分析：美國橡樹嶺國家實(shí)驗(yàn)室新功能預(yù)覽范例：單機(jī)Keras

訓(xùn)練腳本范例:Horovod+Keras分布式訓(xùn)練腳本訓(xùn)練數(shù)據(jù)分布

1：隨機(jī)讀取訓(xùn)練數(shù)據(jù)分布：2分塊讀取使用horovodrun啟動分布式訓(xùn)練Horovod使用小結(jié)程序引入Horovod，稍作修改，調(diào)整學(xué)習(xí)率訓(xùn)練數(shù)據(jù)分布化用horovodrun啟動分布式訓(xùn)練綱要

分布式深度學(xué)習(xí)原理介紹

Horovod使用方法

高級功能

案例分析：美國橡樹嶺國家實(shí)驗(yàn)室

新功能預(yù)覽ApacheSpark集成把訓(xùn)練代碼寫成一個函數(shù)用Spark啟動分布式訓(xùn)練優(yōu)點(diǎn)：計(jì)算資源由Spark調(diào)度，適用于與大數(shù)據(jù)倉庫集成，Spark數(shù)據(jù)預(yù)處理和深度學(xué)習(xí)在同一個腳本進(jìn)行其他高級功能綱要

分布式深度學(xué)習(xí)原理介紹Horovod使用方法

高級功能

案例分析：美國橡樹嶺國家實(shí)驗(yàn)室

新功能預(yù)覽案例分析：美國橡樹嶺國家實(shí)驗(yàn)室像素級高清氣象云圖分析"ExascaleDeep

Learning

for

ClimateAnalytics"在全球最快超級計(jì)算機(jī)Summit上運(yùn)行Horovod分布式深度學(xué)習(xí)獲得2018年ACM

Gordon

Bell

PrizeM230("%M/26-$N-43$&

OPQRS

!""#%&&*("+6T&FU6E*O=M230("%8MDC&

RVRS

!""#%&&*("+6T&FW0D)!61. 世界上首個突破exaops(每秒100億億次運(yùn)算)的深度學(xué)習(xí)應(yīng)用，峰值計(jì)算達(dá)1.13EF/s,持續(xù)計(jì)算999.0PF/s2. 4560節(jié)點(diǎn),

27360

VoltaGPU,

90.7%擴(kuò)展效率用到了的Horovod高級功能：分級化AllReduceTensor融合16位浮點(diǎn)數(shù)綱要分布式深度學(xué)習(xí)原理介紹Horovod使用方法高級功能案例分析：美國橡樹嶺國家實(shí)驗(yàn)室新功能預(yù)覽TensorFlow2.0支持HorovodEstimateor進(jìn)一步集成ApacheSpark其他開發(fā)中功能

容錯性和彈性計(jì)算

MPI容錯性較差

Horovod將支持FacebookGloo，并增添容錯功能

節(jié)點(diǎn)故障不會終止訓(xùn)練過程

Horovod學(xué)術(shù)研究平臺(Github

Issue#1157)深度梯度壓縮

Deep

Gradient

Compression

(/abs/1712.01887)量化SGD

Quantized

SGD

(/abs/1610.02132)梯度稀疏化Gradient

Block

Sparse

(/ab