第講并行計(jì)算工作原理

2004年4月1/149并行計(jì)算--高性能計(jì)算并行計(jì)算(ParallelComputing）

高端計(jì)算(High-endParallelComputing)

高性能計(jì)算(HighPerformanceComputing)

超級計(jì)算(SuperComputing)

任何高性能計(jì)算和超級計(jì)算都離不開使用并行技術(shù)2004年4月2/149什么是并行計(jì)算?并行計(jì)算:

由運(yùn)行在多個(gè)部件上的小任務(wù)合作來求解一個(gè)規(guī)模很大的計(jì)算問題的一種方法例:在曙光2000上用8個(gè)節(jié)點(diǎn)計(jì)算的Mandelbrot集結(jié)果(Mandelbrot為分形理論創(chuàng)始人)2004年4月3/149現(xiàn)代計(jì)算機(jī)的共同特點(diǎn)：

并行性2004年4月4/149現(xiàn)代計(jì)算機(jī)的共同特點(diǎn)：

并行性2004年4月5/149如何實(shí)現(xiàn)并行計(jì)算?分而治之!2004年4月6/149分而治之并行化的主要方法:分而治之根據(jù)問題的求解過程，把任務(wù)分成若干子任務(wù)(任務(wù)級并行或功能并行)根據(jù)處理數(shù)據(jù)的方式，形成多個(gè)相對獨(dú)立的數(shù)據(jù)區(qū)，由不同的處理器分別處理(數(shù)據(jù)并行)并行計(jì)算的特點(diǎn)為利用并行計(jì)算，通常計(jì)算問題表現(xiàn)為以下特征：

（1）將工作分離成離散部分，有助于同時(shí)解決；

（2）隨時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令；

（3）多計(jì)算資源下解決問題的耗時(shí)要少于單個(gè)計(jì)算資源下的耗時(shí)。

并行計(jì)算是相對于串行計(jì)算來說的，并行計(jì)算分為時(shí)間上的并行和空間上的并行。時(shí)間上的并行就是指流水線技術(shù)，而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。

并行計(jì)算機(jī)的分類并行計(jì)算科學(xué)中主要研究的是空間上的并行問題?？臻g上的并行導(dǎo)致了兩類并行機(jī)的產(chǎn)生，按照Flynn的說法分為：單指令流多數(shù)據(jù)流（SIMD）和多指令流多數(shù)據(jù)流（MIMDMultipleInstructionStreamMultipleDataStream）。我們常用的串行機(jī)也叫做單指令流單數(shù)據(jù)流（SISD）。SISDSIMDMIMD9并行計(jì)算機(jī)體系結(jié)構(gòu)

組成要素

結(jié)點(diǎn)（node）：一個(gè)或多個(gè)處理器組成

互聯(lián)網(wǎng)絡(luò)（interconnetctnetwork）：連接結(jié)點(diǎn)

內(nèi)存（memory）：多個(gè)存儲模塊組成10并行計(jì)算機(jī)體系結(jié)構(gòu)并行計(jì)算機(jī)體系

結(jié)構(gòu)示意圖

內(nèi)存模塊與結(jié)點(diǎn)分離并行計(jì)算機(jī)體系

結(jié)構(gòu)示意圖

內(nèi)存模塊位于

結(jié)點(diǎn)內(nèi)部11操作系統(tǒng)與編程語言并行計(jì)算機(jī)主流操作系統(tǒng)：UNIX/Linux

AIX（IBM）

HPUX（HP）

Solaris（SUN）

IRIX（SGI）

Linux編程語言

Fortran77/90/95

C/C++2004年4月12/149并行計(jì)算軟件環(huán)境及現(xiàn)狀操作系統(tǒng)：UNIX、LINUX、WindowsNT在SMP,DSM并行機(jī)上編譯系統(tǒng)通常具有一定的對用戶程序(C/Fortran)進(jìn)程自動并行化的能力,但經(jīng)常需要人工干預(yù)(通過編譯制導(dǎo),命令行選項(xiàng)等)以達(dá)到理想的并行效率.且并行主要針對循環(huán)進(jìn)行(屬于細(xì)粒度并行);在分布式內(nèi)存并行機(jī)上尚無通過高效的自動并行工具,主要依靠人工編寫并行程序;并行算法的設(shè)計(jì)及并行程序的編制已成為目前特約大規(guī)模并行計(jì)算機(jī)應(yīng)用的主要障礙.并行編程現(xiàn)狀:并行軟件開發(fā)遠(yuǎn)遠(yuǎn)落后于并行系統(tǒng)體系結(jié)構(gòu)的發(fā)展。缺少合適的并行軟件是阻礙主流用戶社會接納并行計(jì)算的原因。:與串行軟件相比，并行軟件數(shù)量少，功能原始。2004年4月13/149??編程環(huán)境落后的并行編譯器、調(diào)試器vs.通用先進(jìn)的串行編程環(huán)境.自動并行編譯器遠(yuǎn)遠(yuǎn)滿足不了程序并行化的要求.3算法并行模型的多樣化(并行計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的多樣性)vs.串行編程中的唯一模型:馮.諾依曼模型問題的并行求解的困難在于問題的多樣性和求解過程中所需的創(chuàng)造性勞動，使得這一過程難以進(jìn)行自動化對串行機(jī)而言,解法=唯一串行算法+計(jì)算程序(通用)對并行機(jī)而言,解法=某種并行算法+有針對性的計(jì)算程序(很難通用)J人稀少而初級的并行編程人員vs.成熟而經(jīng)驗(yàn)豐富的串行程序員2004年4月14/149一些途徑充分利用順序程序開發(fā)的經(jīng)驗(yàn)、方法和工具，特別是順序領(lǐng)域中的問題求解、算法設(shè)計(jì)方法，這是簡化并行程序開發(fā)的重要手段。并行程序開發(fā)的困難主要在于問題的并行求解，而不是并行程序設(shè)計(jì)語言?！皬氖虏⑿谐绦蛟O(shè)計(jì)實(shí)踐的人往往把精力耗費(fèi)在為變量分配內(nèi)存、為循環(huán)體尋求并行上，卻忽略對問題本身的分析。其實(shí)能否并行的決定因素是應(yīng)用問題本身?！痹诓⑿兴惴ǖ脑O(shè)計(jì)階段最大限度地開發(fā)出問題本身固有的并行性才是提高計(jì)算效率的根本手段。只有粗粒度的并行，才能具有高的計(jì)算通信比，而粗粒度的并行只能在算法設(shè)計(jì)階段開發(fā)出來15并行編程環(huán)境常見的并行編程環(huán)境消息傳遞、共享存儲、數(shù)據(jù)并行特征消息傳遞共享數(shù)據(jù)數(shù)據(jù)并行典型代表

可移植性

存儲方式

學(xué)習(xí)難度

可擴(kuò)展性MPI，PVM

所有流行并行機(jī)

分布式存儲

較難

好OpenMP

SMP，DSM

共享存儲

容易

較差HPF

SMP，DSM，MPP

共享存儲

偏易

一般三種并行編程環(huán)境主要特征一覽實(shí)現(xiàn)并行鵲編程常見劣方法1.線程蠟?zāi)Ｐ团校∣p顯en扒MP治,P叢OS誘IX科)2.消息皮傳遞新模型芬（PV拉M，MP尤I）PV演M:攏Pa耐ra都ll妹el圈V購ir振tu射al煎M括ac械hi絡(luò)ne洗C肢om潑pu皺ti戶ngMP畫I:員Me本ss舒ag誰e液Pa余ss規(guī)in頌g匪In押te遍rf杯ac爬e3.數(shù)據(jù)辨并行滋模型女（HP掘F）三者方可混見合使瞎用:如對恩以SM簽P為節(jié)曠點(diǎn)的Cl吊us搜te萌r來說,可以嶄在節(jié)鈔點(diǎn)間薦進(jìn)行塑消息構(gòu)傳遞,在節(jié)藍(lán)點(diǎn)內(nèi)癥進(jìn)行拜共享恨變量例編程.18并行新算法適合蛾在并這行機(jī)犁上實(shí)銷現(xiàn)的天算法好的咬并行農(nóng)算法岸應(yīng)充懷分發(fā)范揮并莖行機(jī)叮計(jì)算獄機(jī)的連潛在組性能并行悅算法并行啞算法亂分類按運(yùn)始算對河象：數(shù)值天并行莫算法角、非倒數(shù)值炊并行差算法按并狂行進(jìn)淺程執(zhí)沿行順知序：同步下并行甘算法測、異脊步并鬧行算躺法、治獨(dú)立盤并行豈算法按計(jì)里算任思務(wù)：細(xì)粒夾度并櫻行算托法（鋤基于圍向量菊和循摩環(huán)級討并行知）熄中咐粒度姿并行宇算法側(cè)（基沉于較鑒大的增循環(huán)肥級并油行）神大粒拴度并洋行算軍法（蘿基于開子任酸務(wù)級異并行學(xué)）并行藥的層籠次程序破級并艘行子程獲序級美并行語句態(tài)級并族行操作互級并鈔行微操歸作級亂并行并行霜粒度粗細(xì)后三察層大顛都由名硬件坊和編恰譯器查負(fù)責(zé)府處理小，程惱序員澤通常掌處理孫前兩乳層的件并行并行稠計(jì)算美機(jī)的找存儲相結(jié)構(gòu)共享訪內(nèi)存關(guān)、分納布式純內(nèi)存困、混據(jù)合型福分布擦式共導(dǎo)享內(nèi)疼存接點(diǎn)臟間的擺連接按連隊(duì)接方咐式分竿類：Co午mp監(jiān)le泰te森ly揚(yáng)-c限on矩ne率ct萄ed撈,槍St棵ar讀,例Tr叨ee笨,籍Li蹄ne仆ar粒A事rr鄰ay水a(chǎn)沫nd魚R閱in魯g,易H臺yp獎er請cu辰be集群插計(jì)算撐機(jī)：通過瞇高速端網(wǎng)絡(luò)LA家N將PC機(jī)或閱工作掠站連株結(jié)而銹成。接點(diǎn)泛間的馳連接按連炎接方暫式分叢類：Co既mp涌le足te銜ly朝-c辣on遭ne宋ct罩ed撒,頸St應(yīng)ar遠(yuǎn),振Tr帶ee友,公Li勝ne煎ar防A混rr法ay吳a釀nd任R膚in晌g,范H餅yp叔e(cuò)r濁cu朽be集群善計(jì)算始機(jī)：通過倒高速察網(wǎng)絡(luò)LA并N將PC機(jī)或亡工作爺站連分結(jié)而歉成。問題圍分解1.作用棋域分集解：與問蝴題相猴關(guān)的墾數(shù)據(jù)鍵將會拜被分演解。擺每個(gè)轉(zhuǎn)并行惡的任銜務(wù)只塔能使由用部伶分?jǐn)?shù)屑據(jù)鴨。2.功能烏分解較：關(guān)聞注要同被完盜成的杠計(jì)算留而不脅是操辭作數(shù)狼據(jù)的各計(jì)算錦。問喝題是薪根據(jù)艇當(dāng)前辨一定袋要完悠成的精任務(wù)冷劃分歪的。薯每個(gè)法任務(wù)芳完成牢全部塘工作落的一免部分蟻。關(guān)注尤的問拼題1、通揉信2、同截步3、數(shù)捕據(jù)依剃賴4、負(fù)下載平茫衡5、I/衰O并行鎮(zhèn)計(jì)算漢的性屑能分供析1、加凡速比肆（sp燭ee戀du架p)2、并庭行效遷率并行番計(jì)算糕的術(shù)滔語（1）Ta擱sk：可包計(jì)算洗工作今在邏扎輯上河不連避續(xù)的成分區(qū)迫。一擇個(gè)任帆務(wù)通張常是撇一個(gè)秋程序添或者沈類似槽程序融一樣潛的可辛以被灘處理告器執(zhí)具行的殼指令礎(chǔ)集。Pa南ra恒ll經(jīng)el錘T余as振k：一微個(gè)任隆務(wù)可掀以被美多個(gè)家處理滾器安洋全的辰并行肺的執(zhí)棒行，妻產(chǎn)生伏正確某的結(jié)柄果。Se惑ri輝al衰E慈xe拳cu罩ti惑on：程渣序相表繼的敬執(zhí)行愧，每茅次一削個(gè)狀凡態(tài)。汗在最積簡單等的情挖況下茄，單灘核處壇理器靈就是灘這樣嫂運(yùn)行遞的?？v可是地，實(shí)碑際上邪所有寶并行鞋的任傷務(wù)有凡一些燃并行趟程序圓的區(qū)影域一調(diào)定要原串行兵的執(zhí)泥行。Pa飯ra晌ll尊el國E必xe摩cu聚ti套o(hù)n：一瓣個(gè)或竿多個(gè)針任務(wù)份同時(shí)群執(zhí)行參的程賞序，臨每個(gè)概任務(wù)算同時(shí)男能夠頭執(zhí)行猛相同航的或勞不同疏的代毅碼語斧句。Pi互pe答li抗ni撤ng：不喘同的骨處理偏器單東元把隙一個(gè)倆任務(wù)戴根據(jù)范輸入氏流來弟分解頃成一圾系列岔步驟援來執(zhí)決行，綁相當(dāng)語于一慢條流包水線折；并庫行計(jì)披算的罷一種鐘。并行兩計(jì)算妙的術(shù)流語（2)Sh平ar秩ed翠M貝em刑or乞y（共題享內(nèi)角存）鳳：完全注從硬強(qiáng)件的羽視角獻(xiàn)來描生述計(jì)有算機(jī)鋤體系倦結(jié)構(gòu)呢，所俯有的井處理礎(chǔ)器直供接存深取通毯用的賄物理僻內(nèi)存饅（基牽于總狼線結(jié)仰構(gòu)）敢。在兇編程風(fēng)的角布度上悶來看黑，他渣指出發(fā)從并怠行任余務(wù)看傭內(nèi)存句是同妻樣的沈視圖槳，并班且能秧夠直侍接定椒位存廳取相囑同的金邏輯霸內(nèi)存腐位置描上的捧內(nèi)容雄，不線管物觸理內(nèi)屆存是游否真飽的存序在。Sy溝mm課et鍬ri腹c理Mu萍lt釋i-賣Pr爹oc逆es蹲so聲r(shí)（對欣稱多妹處理制器）蟲：這種劫硬件冠體系冶結(jié)構(gòu)卸是多考處理辦器共胃享一虜個(gè)地匆址空許間訪針問所胸有資話源的歌模型??；共煮享內(nèi)庸存計(jì)恢算。Di將st巧ri足bu妨te趣d誘Me糊mo確ry（分南布式衣存儲握）：從硬賴件的獎角度耕來看與，基棗于網(wǎng)橋絡(luò)存鹿儲的出物理湊內(nèi)存階訪問西是不栗常見企的。歸在程投序模何型中慰，任贏務(wù)只層能看辦到本裕地機(jī)混器的屢內(nèi)存雙，當(dāng)籌任務(wù)是執(zhí)行殼時(shí)一兇定要品用通繭信才目能訪皆問其糾他機(jī)巾器上壺的內(nèi)成存空屢間。Co誼mm慎un典ic守at剖io錯(cuò)n：并行臭任務(wù)想都需澡要交斬?fù)Q數(shù)缺據(jù)。在有幾腥種方綠法可釋以完上成，吊例如招：共稻享內(nèi)欣存總績線、星網(wǎng)絡(luò)闊傳輸辛，然斤而不稱管用扔什么嚼方法柴，真涌實(shí)的矮數(shù)據(jù)傍交換怨事件裝通常歸與通莊信相建關(guān)。Sy染nc川hr第on氣iz鋼at醬io事n：實(shí)時(shí)狠并行解任務(wù)相的調(diào)懇度通引常與味通信月相關(guān)下?？偵咽峭ò襁^建窯立一偉個(gè)程渠序內(nèi)播的同裕步點(diǎn)獵來完舞成，件一個(gè)段任務(wù)懸在這弄個(gè)程限序點(diǎn)掌上等隆待，其直到忙另一森個(gè)任漸務(wù)到掛達(dá)相仁同的肺邏輯堂設(shè)備類點(diǎn)是丸才能迷繼續(xù)烈執(zhí)行封。同冤步至必少要秧等待水一個(gè)沸任務(wù)籠，致蹄使并頁行程立序的待執(zhí)行普時(shí)間包增加算。并行睜計(jì)算迫的術(shù)冷語(3授)Ob跨se爬rv穿ed禍S誓pe客ed噴up：測北量代確碼并據(jù)行化趕之后凈的加夏速比墾。這始是最乎簡單史也最皮廣泛塘使用筆的測眾量并宿行程俘序性濾能的炮方法鳴。Pa星ra方ll耗el青O畢ve緣瑞rh惹ea到d（并勁行開破銷）：對脹并行零任務(wù)悼調(diào)度界花費(fèi)維的時(shí)羅間沒旺有做芳有用淋的工碰作。霜并行去開銷料可以險(xiǎn)包含橫如下老因素姿：任剩務(wù)啟