深度學(xué)習(xí)技術(shù)介紹

深度學(xué)習(xí)技術(shù)介紹DeepLearningTechnology0深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中表征學(xué)習(xí)方法的一類。一個(gè)觀測(cè)值（例如一幅圖像）可以使用多種方式來表示,而某些特定的表示方法可以讓機(jī)器學(xué)習(xí)算法更加容易進(jìn)行學(xué)習(xí)。表征學(xué)習(xí)的目標(biāo)是尋求更好的表示方法并建立更好的模型來學(xué)習(xí)這些表示方法;通俗來講，機(jī)器學(xué)習(xí)是一種算法框架，通過此算法框架，需要讓機(jī)器具有類似人類的智慧，學(xué)會(huì)認(rèn)識(shí)世界的一種方式；為人類提供“大數(shù)據(jù)+簡(jiǎn)單模型”的實(shí)現(xiàn)方式。什么是深度學(xué)習(xí)1語音識(shí)別圖像識(shí)別自然語言處理深度學(xué)習(xí)的實(shí)際應(yīng)用類型2論點(diǎn):機(jī)器學(xué)習(xí)是要制造一個(gè)超級(jí)大腦,能夠具有人類一樣的智慧。這是一個(gè)非常典型的錯(cuò)誤。機(jī)器學(xué)習(xí)是一個(gè)古老的計(jì)算機(jī)學(xué)科，而深度學(xué)習(xí)正是機(jī)器學(xué)習(xí)的一個(gè)狹窄領(lǐng)域，并非新生事物。持此觀點(diǎn)的人一般都是對(duì)此學(xué)科一知半解的人。在工程上，深度學(xué)習(xí)的目的不是理解人腦的本質(zhì)，也不是需要制造一個(gè)類人的生命體，而是構(gòu)建有用的機(jī)器。神經(jīng)網(wǎng)絡(luò)(artificialneuralnetworks)能夠幫助我們建立更好的計(jì)算機(jī)系統(tǒng)，用以處理信息。人腦也是一種處理信息的裝置，具有非凡的鞥努力并且在視覺、語音、語義等方面都超過了目前的工程產(chǎn)品，目前研究的方向是用形式算法定義人腦處理這些任務(wù)的解，并在計(jì)算機(jī)上實(shí)現(xiàn)此過程。糾正一個(gè)錯(cuò)誤31989年,計(jì)算機(jī)已經(jīng)可以學(xué)習(xí)識(shí)別人類講話，并且用到了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法和隱馬爾科夫模型學(xué)習(xí)方法;1989年，機(jī)器學(xué)習(xí)方法已經(jīng)被用于訓(xùn)練計(jì)算機(jī)控制車輛，實(shí)現(xiàn)無人駕駛；1995年，決策樹學(xué)習(xí)算法已經(jīng)被NASA用來分類天體；1995年，計(jì)算機(jī)已經(jīng)可以通過學(xué)習(xí)，在博弈類游戲中擊敗人類。人工神經(jīng)網(wǎng)絡(luò)的研究歷史和數(shù)字計(jì)算機(jī)一樣長(zhǎng)。1943年，McCulloch和Pitts提出了人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)數(shù)學(xué)模型。1962年提出了感知器和學(xué)習(xí)算法。1969年有人指出了單層感知器的局限性。1986年后，后向傳播被發(fā)明，單層感知器局限性不復(fù)存在。由于深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，討論時(shí)我們混用這兩個(gè)名詞。為什么說機(jī)器學(xué)習(xí)是一個(gè)古老的學(xué)科4人工智能貝葉斯方法計(jì)算復(fù)雜性理論控制論信息論哲學(xué)心理學(xué)和神經(jīng)生物學(xué)統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)相關(guān)的學(xué)科5根據(jù)Marr(1982)年理論,理解一個(gè)信息處理系統(tǒng)，具有三個(gè)被稱為分析層面的內(nèi)容:計(jì)算理論(computationaltheory)對(duì)應(yīng)計(jì)算目標(biāo)和任務(wù)的抽象定義。表示和算法(representationandalgorithm)是關(guān)于輸人和輸出如何表示和從輸入到輸出變換的算法說明。硬件實(shí)現(xiàn)(hardwareimplementation)是系統(tǒng)的實(shí)物物理實(shí)現(xiàn)。理解人腦處理信息的過程6

什么是感知器(perceptron)

···

7最簡(jiǎn)單的分離器設(shè)計(jì)8感知器定義了一個(gè)超平面,而神經(jīng)網(wǎng)絡(luò)感知器事不過是實(shí)現(xiàn)超平面的一種方法。給定數(shù)據(jù)樣本，權(quán)重可以離線計(jì)算，并且將其帶入后，感知器就可以用來計(jì)算輸出的值。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，若果未提供全部樣本，而是逐個(gè)提供實(shí)例，則我們通常使用在線學(xué)習(xí)，并且在每個(gè)實(shí)例之后更新網(wǎng)絡(luò)參數(shù)，讓給網(wǎng)絡(luò)緩慢的及時(shí)調(diào)整。這是目前比較常見的一種訓(xùn)練方式。對(duì)于在線學(xué)習(xí)，不需要全部樣本而是需要單個(gè)實(shí)例上的誤差函數(shù)。從隨機(jī)初始權(quán)重開始，每次迭代中，我們都對(duì)參數(shù)稍作調(diào)整，以最小化誤差，而不是忘記先前學(xué)習(xí)的。若誤差函數(shù)可微，則可以使用梯度下降方法。具有單層權(quán)重的感知器，只能逼近輸入的線性函數(shù)，不能解決XOR類型的問題，這些問題的判別式是非線性的。類似的，這種感知器也不能用于非線性回歸。鑒于此，MLP可以實(shí)現(xiàn)非線性的判別。訓(xùn)練感知器9這是在訓(xùn)練多層感知器時(shí)提出的一個(gè)概念。訓(xùn)練多層感知器與訓(xùn)練感知器是一樣的。唯一區(qū)別是現(xiàn)在的輸出是輸入的非線性函數(shù),這要?dú)w咎于隱藏單元中的非線性偏倚函數(shù)。在對(duì)于多層感知器，計(jì)算梯度時(shí)誤差就向傳回到輸出一樣，所以創(chuàng)造了這個(gè)術(shù)語。后向傳播算法(backpropagation,1986)10對(duì)于人臉識(shí)別(facerecognition)。輸入是人臉圖像,類是需要識(shí)別的人，并且學(xué)習(xí)程序應(yīng)當(dāng)學(xué)習(xí)人臉圖像與身份之間的關(guān)聯(lián)性。人臉會(huì)有更多的類，輸入圖像也更大一些，并且人臉是三維的，不同的姿勢(shì)和光線等都會(huì)導(dǎo)致圖像的顯著變化。另外，對(duì)于特定人臉的輸人也會(huì)出現(xiàn)問題，比如說眼鏡可能會(huì)把眼睛和眉毛遮住，胡子可能會(huì)把下巴蓋住等。具體應(yīng)用-人臉識(shí)別11對(duì)于醫(yī)學(xué)診斷(medicaldiagnosis)。輸人是關(guān)于患者的信息,而類是疾病。輸入包括患者的年齡、性別、既往病史、目前癥狀等。當(dāng)然，患者可能還沒有做過某些檢查，因此這些輸入將會(huì)缺失。檢查需要時(shí)間，還可能要花很多錢，而目、也許還會(huì)給患者帶來不便。因此，除非我們確信檢查將提供有價(jià)值的信息，否則我們將不對(duì)患者進(jìn)行檢查。在醫(yī)學(xué)診斷的情況下，錯(cuò)誤的診斷結(jié)果可能會(huì)導(dǎo)致我們采取錯(cuò)誤的治療或根本不進(jìn)行治療。在不能確信診斷結(jié)果的情況下，分類器最好還是放棄判定，而等待醫(yī)學(xué)專家來做決斷。具體應(yīng)用-醫(yī)學(xué)診斷12在語音識(shí)別(speechrecognition),輸人是語音,類是可以讀出的詞匯。這里要學(xué)習(xí)的是從語音信號(hào)到某種語言的詞匯的關(guān)聯(lián)性。由于年齡、性別或口音方面的差異，相同詞匯的讀音不同，這使得語音識(shí)別問題相當(dāng)困難。語音識(shí)另的另一個(gè)特點(diǎn)是其輸入信號(hào)是時(shí)態(tài)的，詞匯作為音素的序列實(shí)時(shí)讀出，而且有些詞匯的讀音會(huì)較長(zhǎng)一些。具體應(yīng)用-語音識(shí)別13在語音識(shí)別中,“語言模型”的集成是至關(guān)重要的，而且提供一語言模型的最好方法仍然是從實(shí)例數(shù)據(jù)的大型一語料庫中學(xué)習(xí)。機(jī)器學(xué)習(xí)在自然語言處理(naturallanguageprocessing)方面的應(yīng)用與日俱增。垃圾郵件過濾就是一種應(yīng)用，其中垃圾郵件的制造者為一方，過濾者為另一方，一直都在尋找越來越精巧的方法以便超越對(duì)方，也許最吸引人的是機(jī)器翻譯(machinetranslation)，經(jīng)歷了數(shù)十年手工編寫翻譯規(guī)則的研究之后，最近人們認(rèn)識(shí)到最有希望的辦法是提供大量翻譯文本實(shí)例對(duì)，并且讓程序自動(dòng)地提取，一個(gè)字符串映射到另一個(gè)字符串的規(guī)則。自然語言處理14生物則定學(xué)(biometrics)使用人的生理和行為特征來識(shí)別或認(rèn)證人的身份,需要集成來自不同形態(tài)的輸人。生理特征的例子是面部圖像、指紋、虹膜和手掌;行為特征的例子是簽字的力度、嗓音、步態(tài)和擊鍵。與通常的鑒別過程(照片、印刷簽名或門令)相反，會(huì)有許多不同的(不相關(guān)的)輸人，偽造(欺騙)更困難并且系統(tǒng)更準(zhǔn)確，不會(huì)對(duì)用戶太不方便。機(jī)器學(xué)習(xí)既用于針對(duì)這些不同形態(tài)而構(gòu)建不同的識(shí)別器，也考慮這些不同數(shù)據(jù)源的可靠性，用于組合它們的決策，以便得到接受或拒絕的總體決策。生物測(cè)定學(xué)15從數(shù)據(jù)中學(xué)習(xí)規(guī)則也為知識(shí)抽取(knowledgeextraction)提供了可能性。規(guī)則是一種解釋數(shù)據(jù)的簡(jiǎn)單模型,而觀察該模型我們能得到潛在數(shù)據(jù)處理的解釋。例如，一旦我們學(xué)會(huì)了區(qū)分低風(fēng)險(xiǎn)客戶和高風(fēng)險(xiǎn)客戶的判別式，我們就擁有了關(guān)于低風(fēng)險(xiǎn)客戶特性的知識(shí)。然后，我們就能夠利用這些知識(shí)，通過比如廣告等方式，更有效地爭(zhēng)取那些潛在的低風(fēng)險(xiǎn)客戶。機(jī)器學(xué)習(xí)還可以進(jìn)行壓縮(compression)。用規(guī)則擬合數(shù)據(jù)，我們能得到比數(shù)據(jù)更簡(jiǎn)單的解釋，需要的存儲(chǔ)空間更少，處理所需要的計(jì)算更少，例如，一旦你掌握了加法規(guī)則，你就不必記憶每對(duì)可能數(shù)字的和是多少。機(jī)器學(xué)習(xí)的另一種用途是離群點(diǎn)檢測(cè)(outlierdetection)，即發(fā)現(xiàn)那些不遵守規(guī)則的例外實(shí)例。在這種情況下，學(xué)習(xí)規(guī)則之后，我們感興趣的不是規(guī)則，而是規(guī)則未能覆蓋的例外，他們可能暗示出我們需要注意的異常，如詐騙等。機(jī)器學(xué)習(xí)的額外用途16ALVINN系統(tǒng)是ANN學(xué)習(xí)的一個(gè)典型實(shí)例,這個(gè)系統(tǒng)使用一個(gè)學(xué)習(xí)到的ANN以正常速度在高速公路上駕駛汽車。ANN的輸入是一個(gè)30*32像素的網(wǎng)格，像素的亮度來自于一個(gè)安裝在車輛上的前向攝像頭。ANN的輸出是車輛行進(jìn)的方向。這個(gè)ANN通過模仿駕駛時(shí)的操縱命令進(jìn)行訓(xùn)練，持續(xù)約5分鐘。ALVINN用學(xué)到的網(wǎng)絡(luò)在高速公路上以70英里的時(shí)速成功行駛了90英里。案例-ALVINN系統(tǒng)17ALVINN系統(tǒng)的神經(jīng)網(wǎng)絡(luò)18形而下者謂之器19人工智能每一次沉寂后的爆發(fā),有兩個(gè)條件理論算法的突破計(jì)算能力的提升HPC是深度學(xué)習(xí)的引擎深度學(xué)習(xí)對(duì)計(jì)算的依賴20nVidiaTeslaGPU21GPU的發(fā)展趨勢(shì)22GPU產(chǎn)品路線23GPU市場(chǎng)區(qū)分24計(jì)算專用GPU可選型號(hào)特性TeslaM40TeslaK80TeslaK40GPU數(shù)量類型GM2002×KeplerGK2101個(gè)GK110雙精浮點(diǎn)峰值-2.91T(提速)1.87T(基礎(chǔ))1.66T(提速)1.43T(基礎(chǔ))單精浮點(diǎn)峰值7T8.74T(提速)5.6T5T(基礎(chǔ))4.29Tflops存儲(chǔ)器帶寬(ECC關(guān)閉)288GB/s480GB/s288GB/s存儲(chǔ)器容量(GDDR5)12GB24GB(2×12GB)12GBCUDA核心數(shù)30724992288025主流GPU產(chǎn)品對(duì)比26主流GPU產(chǎn)品對(duì)比27GPUBoost技術(shù)28K80性能提升29M40GPU加速特性30GPU與CPU連接通過PCIe與CPU連接,最大理論帶寬8GB/s(gen2.0)、16GB/s(gen3.0)CPU稱為主機(jī)(host),顯卡(GPU)稱為設(shè)備(device)31最優(yōu)連接數(shù)量:432目前的GPU使用方案33CPU困境348塊熱插拔3.5寸SATA硬盤16根內(nèi)存槽，支持1TBDDR4內(nèi)存兩顆Intel160WIntel?

E5-2600v3family

2000W白金級(jí)高效電源，1+1冗余3x5?外設(shè)倉位最優(yōu)的制冷方案最多4個(gè)全高全長(zhǎng)雙寬GPU卡(PCIex163.0)+3個(gè)標(biāo)準(zhǔn)PCIe卡XMachineW580-G20機(jī)塔互換35XMachineW740-G20服務(wù)器天闊W740-G20服務(wù)器是專為高性能計(jì)算設(shè)計(jì)的高密度異構(gòu)計(jì)算節(jié)點(diǎn),在2U空間內(nèi)置4顆主流加速卡，并支持Infiniband高速互聯(lián)接口。W740I-G20適合在DeepLearning、MachineLearning環(huán)境下的應(yīng)用。2U高度，兩顆IntelIntel?E5-2600V3系列CPU，最大支持145W支持4顆GPU/MIC加速單元，4根PCI-E3.0×16+1根PCI-E3.0×8(inX16slot)最大支持1TBDDR4Reg.ECC內(nèi)存(16DIMM)10個(gè)熱插拔2.5寸SAS/SATA硬盤可配置2000W1+1冗余電源36XMachineW780-G20服務(wù)器天闊W780-G20服務(wù)器是專為MachineLearning市場(chǎng)設(shè)計(jì)的高密度異構(gòu)計(jì)算節(jié)點(diǎn),在4U空間內(nèi)置8顆主流加速卡，每個(gè)CPU之間的GPU卡可以實(shí)現(xiàn)P2P。4U高度，兩顆IntelIntel?E5-2600V3系列CPU，最大支持160W支持8顆GPU/MIC加速單元，8根PCI-E3.0×16+3根PCI-E3.0×8擴(kuò)展槽最大支持2TBDDR4ECC內(nèi)存(24DIMM)24個(gè)熱插拔2.5寸SAS/SATA硬盤可配置1600W2+2冗余電源37深度學(xué)習(xí)是一種處理大數(shù)據(jù)的工具,應(yīng)對(duì)大數(shù)據(jù)時(shí)代信息處理的難題。讓”信息資產(chǎn)”成為企業(yè)的重要資源。XSystem以”HPC+BigData+Cloud”為設(shè)計(jì)理念，結(jié)合深度學(xué)習(xí)XSharp深度學(xué)習(xí)軟件棧和XMachine深度學(xué)習(xí)一體機(jī)。為用戶提供深度學(xué)習(xí)一體化解決方案。幫助用戶快速進(jìn)入DeepLearning領(lǐng)域，實(shí)現(xiàn)企業(yè)應(yīng)用快速成長(zhǎng)，將科研成果快速轉(zhuǎn)化為第一生產(chǎn)力。深度