谷歌深度學(xué)習在Kubernetes上的實踐

谷歌深度學(xué)習框架Tensorflow在Kubernetes上的實踐鄭澤宇才云科技首席科學(xué)家zeyu@caicloud.io12鄭澤宇才云科技caicloud.io3鄭澤宇才云科技caicloud.io4鄭澤宇才云科技caicloud.io深度學(xué)習5鄭澤宇才云科技caicloud.io目錄提綱深度學(xué)習簡介Tensorflow簡介Tensorflow+Kubernetes6鄭澤宇才云科技caicloud.io目錄提綱深度學(xué)習簡介Tensorflow簡介Tensorflow+Kubernetes7鄭澤宇才云科技caicloud.io深度學(xué)習的動機寫規(guī)則如果對手有兩個連在一起的就堵上第三個如果自己有兩個連在一起的就臉上第三個-

…8鄭澤宇才云科技caicloud.io搜索深度學(xué)習的動機9鄭澤宇才云科技caicloud.io深度學(xué)習的動機10鄭澤宇才云科技caicloud.io深度學(xué)習的動機11鄭澤宇才云科技caicloud.io深度學(xué)習的動機12鄭澤宇才云科技caicloud.io人類學(xué)習13鄭澤宇才云科技caicloud.io

通用學(xué)習模型假設(shè)14鄭澤宇才云科技caicloud.ioBrainPortproject——通過舌頭“看”世界通用學(xué)習模型假設(shè)15鄭澤宇才云科技caicloud.io深度學(xué)習簡介ImageNet通過圖片去描述概念100,000+概念平均每個概念有1000張圖片每張圖片都是人工標注的深度學(xué)習——圖像處理16鄭澤宇才云科技caicloud.io深度學(xué)習——圖像處理17鄭澤宇才云科技caicloud.io深度學(xué)習——圖像處理18鄭澤宇才云科技caicloud.io深度學(xué)習——圖像處理深度學(xué)習之前深度學(xué)習之后19鄭澤宇才云科技caicloud.io深度學(xué)習——圖像處理應(yīng)用谷歌地圖定位具體地址/識別門牌號20鄭澤宇才云科技caicloud.io深度學(xué)習——圖像處理應(yīng)用無人駕駛車21鄭澤宇才云科技caicloud.io深度學(xué)習的優(yōu)勢深度學(xué)習——自然語言處理

22鄭澤宇才云科技caicloud.io對語義建模知識圖庫（WordNet）人工定義近義詞耗時長，代價大，靈活性差深度學(xué)習Embedding深度學(xué)習——自然語言處理應(yīng)用機器同聲傳譯23鄭澤宇才云科技caicloud.io深度學(xué)習——自然語言處理應(yīng)用情感分析品牌建設(shè)股市分析24鄭澤宇才云科技caicloud.io……深度學(xué)習——自然語言處理應(yīng)用25鄭澤宇才云科技caicloud.io句子級別：80%->85.4%短語級別：71%->80.7%人腦的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)模型26鄭澤宇才云科技caicloud.io神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型27鄭澤宇才云科技caicloud.io神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型28鄭澤宇才云科技caicloud.io神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型012345678901000000001圖像識別情感分類0129目錄提綱深度學(xué)習簡介Tensorflow簡介Tensorflow+Kubernetes30鄭澤宇才云科技caicloud.io編譯鏡像Google官方提供Tensorflow的基礎(chǔ)鏡像運行TensorBoard運行文件服務(wù)器方便文件傳輸拷貝demo（optional）運行鏡像深度學(xué)習的優(yōu)勢RunTensorflowonDockerTensorboard端口文件服務(wù)器端口31鄭澤宇才云科技caicloud.ioJupyter編輯器端口深度學(xué)習的優(yōu)勢TensorflowHelloWorlddemo通過Sessions維護上下文，所有執(zhí)行都需要通過Session數(shù)據(jù)都存儲在“tensor”中.變量都存儲在

Variables中在運行前所有變量都需要初始化所有結(jié)果都需要先運行才能獲取32鄭澤宇才云科技caicloud.ioMNIST+SKLEARN8:30009/tree#MNIST+TensorBoardhttp://8:30006ImageNet+ServingWord2VecDemo深度學(xué)習的優(yōu)勢Tensorboarddemo33鄭澤宇才云科技caicloud.io目錄提綱深度學(xué)習簡介Tensorflow簡介Tensorflow+Kubernetes34鄭澤宇才云科技caicloud.io深度學(xué)習的優(yōu)勢沒有免費午餐——計算量問題Inception-v3modelforImageNet2500萬參數(shù)每次inference/forwardprorogate50億乘法/加法操作35鄭澤宇才云科技caicloud.io深度學(xué)習的優(yōu)勢沒有免費午餐——優(yōu)化問題神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，難以直接求解迭代優(yōu)化算法——梯度下降法需要海量數(shù)據(jù)以及海量計算單機需要訓(xùn)練達到78%的正確率需要？36鄭澤宇才云科技caicloud.io5個月！深度學(xué)習的優(yōu)勢沒有免費午餐歸根結(jié)底都是計算量問題！37鄭澤宇才云科技caicloud.io深度學(xué)習的優(yōu)勢Kubernetestotherescue谷歌內(nèi)部——BorgGoogleBrain跑在數(shù)十萬臺機器上谷歌電商商品分類深度學(xué)習模型跑在1000+臺機器上谷歌外部——KubernetesKubernetes為Borg的開源版，是一個容器集群管理系統(tǒng)Tensorflow原生態(tài)支持并行化的跑在kubernetes上38鄭澤宇才云科技caicloud.io深度學(xué)習的優(yōu)勢DistributedTensorflow39鄭澤宇才云科技caicloud.io參數(shù)服務(wù)器計算服務(wù)器深度學(xué)習的優(yōu)勢TensorflowonKubernetes40鄭澤宇才云科技caicloud.io啟動cluster啟動對每個Server需要指定其他ServerIp每個Server建立一套Service–Replica-ControllerPetSet對于每個Server需要指定是參數(shù)服務(wù)器還是計算服務(wù)器運行Job手工指定不同操作到不同服務(wù)器不同服務(wù)器計算不同數(shù)據(jù)Example

code：將任務(wù)分配到每個計算服務(wù)器參數(shù)服務(wù)器負責調(diào)度學(xué)習資源深度學(xué)習的優(yōu)勢TensorflowonKubernetes41鄭澤宇才云科技caicloud.ioforiin${ALL_WORKER}pythontrain.py\--worker_grpc_url="${WORKER_GRPC_URL}"\