多核軟件開發(fā)技術(shù)北大講義課件

多核軟件開發(fā)技術(shù)

第六講：OpenMP多線程編程及性能優(yōu)化

北京大學(xué)二零零八年春季*致謝：感謝Intel對本課程項(xiàng)目的資助本講主要內(nèi)容OpenMP編程簡介OpenMP多線程應(yīng)用程序編程技術(shù)OpenMP多線程應(yīng)用程序性能分析OpenMP編程簡介OpenMP多線程編程基礎(chǔ)OpenMP的編程模型以線程為基礎(chǔ)通過編譯指導(dǎo)語句來顯示地指導(dǎo)并行化OpenMP的執(zhí)行模型采用Fork-Join的形式在開始時(shí)，只有一個(gè)叫做主線程的運(yùn)行線程存在在運(yùn)行過程中，當(dāng)遇到需要進(jìn)行并行計(jì)算的時(shí)候，派生出（Fork）線程來執(zhí)行并行任務(wù)在并行代碼結(jié)束執(zhí)行，派生線程退出或掛起，控制流程回到單獨(dú)的主線程中（Join）MasterThreadParallelRegionNestedParallelRegionOpenMP應(yīng)用程序運(yùn)行時(shí)的Fork-Join模型編譯指導(dǎo)語句在編譯器編譯程序的時(shí)候，會(huì)識(shí)別特定的注釋，而這些注釋就包含著OpenMP程序的一些語義在一個(gè)無法識(shí)別OpenMP語意的普通編譯器中，這些注釋會(huì)被當(dāng)作普通的注釋而被忽略在C/C++程序中，OpenMP所有編譯指導(dǎo)語句以#pragmaomp開始，后面跟具體功能指令使用VS2005編寫OpenMP程序當(dāng)前的VisualStudio.Net2005完全支持OpenMP2.0標(biāo)準(zhǔn)通過新的編譯器選項(xiàng)/openmp來支持OpenMP程序的編譯和鏈接建立一個(gè)新的項(xiàng)目配置項(xiàng)目屬性O(shè)penMP多線程應(yīng)用程序編程技術(shù)循環(huán)并行化循環(huán)并行化是使用OpenMP來并行化程序的最重要的部分在C/C++語言中，循環(huán)并行化語句的編譯指導(dǎo)語句格式如下：#pragmaompparallelfor[clause[clause…]]for（index=first;test_expr;increment_expr）{ bodyoftheloop;}循環(huán)并行化語句的限制并不是所有的循環(huán)語句都能夠在其前面加上#pragmaompparallel來實(shí)現(xiàn)并行化并行化的語句必須是for循環(huán)語句并具有規(guī)范格式能夠推測出循環(huán)的次數(shù)for（index=start;index<end;increment_expr）在循環(huán)過程中不能使用break語句不能使用goto和return語句從循環(huán)中跳出可以使用continue語句循環(huán)嵌套可以將嵌套循環(huán)的任意一個(gè)循環(huán)體進(jìn)行并行化循環(huán)并行化編譯指導(dǎo)語句可以加在任意一個(gè)循環(huán)之前對應(yīng)的最近的循環(huán)語句被并行化，其它部分保持不變控制數(shù)據(jù)的共享屬性O(shè)penMP程序在同一個(gè)共享內(nèi)存空間上執(zhí)行可以任意使用這個(gè)共享內(nèi)存空間上的變量進(jìn)行線程間的數(shù)據(jù)傳遞OpenMP還允許線程保留自己的私有變量不能讓其它線程訪問到使用作用域子句的一些規(guī)則作用域子句作用的變量是已經(jīng)申明的有名變量作用域子句在作用到類或者結(jié)構(gòu)的時(shí)候，只能作用到類或者結(jié)構(gòu)的整體，而不能只作用域類或者結(jié)構(gòu)的一個(gè)部分一個(gè)編譯指導(dǎo)語句能夠包含多個(gè)數(shù)據(jù)作用域子句作用域子句只能作用在出現(xiàn)在編譯指導(dǎo)語句起作用的語句變量部分規(guī)約操作并行化的限制并不是所有的操作都能夠使用規(guī)約操作所有能夠在OpenMP的C/C++語言中出現(xiàn)的規(guī)約操作運(yùn)算符數(shù)據(jù)類型默認(rèn)初始值+整數(shù)，浮點(diǎn)0*整數(shù)，浮點(diǎn)1-整數(shù)，浮點(diǎn)0&整數(shù)所有位都開啟，~0|整數(shù)0^整數(shù)0&&整數(shù)1||整數(shù)0數(shù)據(jù)相關(guān)性與并行化操作并不是所有的循環(huán)都能夠使用#pragmaompparallelfor來進(jìn)行并行化必須要保證數(shù)據(jù)兩次循環(huán)之間不存在數(shù)據(jù)相關(guān)性數(shù)據(jù)相關(guān)性又被稱為數(shù)據(jù)競爭（DataRace）當(dāng)兩個(gè)線程對同一個(gè)變量進(jìn)行操作，并且有一個(gè)操作為寫操作的時(shí)候，就說明這兩個(gè)線程存在數(shù)據(jù)競爭并行區(qū)域編程循環(huán)并行化實(shí)際上是并行區(qū)域編程的一個(gè)特例并行區(qū)域簡單的說就是通過循環(huán)并行化編譯指導(dǎo)語句使得一段代碼能夠在多個(gè)線程內(nèi)部同時(shí)執(zhí)行在C/C++語言中，并行區(qū)域編寫的格式如下： #pragmaompparallel[clause[clause]…] block工作隊(duì)列工作隊(duì)列的基本工作過程：為維持一個(gè)工作的隊(duì)列，線程在并行執(zhí)行的時(shí)候，不斷從這個(gè)隊(duì)列中取出相應(yīng)的工作完成，直到隊(duì)列為空為止根據(jù)線程號(hào)分配任務(wù)每一個(gè)線程在執(zhí)行的過程中的線程標(biāo)識(shí)號(hào)是不同的可以根據(jù)這個(gè)線程標(biāo)識(shí)號(hào)來分配不同的任務(wù)#pragmaompparallelprivate（myid）{nthreads=omp_get_num_threads（）;myid=omp_get_thread_num（）;get_my_work_done（myid,nthreads）;}臨界區(qū)（critical）臨界區(qū)通過編譯指導(dǎo)語句對產(chǎn)生數(shù)據(jù)競爭的內(nèi)存變量進(jìn)行保護(hù)在程序需要訪問可能產(chǎn)生競爭的內(nèi)存數(shù)據(jù)的時(shí)候，都需要插入相應(yīng)的臨界區(qū)代碼#pragmaompcritical[（name）] block在執(zhí)行上述的程序塊block之前，必須首先要獲得臨界區(qū)的控制權(quán)原子操作現(xiàn)代體系結(jié)構(gòu)的多處理計(jì)算機(jī)提供了原子更新一個(gè)單一內(nèi)存單元的方法通過單一一條指令就能夠完成數(shù)據(jù)的讀取與更新操作通過這種方式就能夠完成對單一內(nèi)存單元的更新，提供了一種更高效率的互斥鎖機(jī)制#pragmaompatomic x<binop>=expr運(yùn)行時(shí)庫函數(shù)的互斥鎖支持函數(shù)名稱描述voidomp_init_lock（omp_lock_t*） 初始化一個(gè)互斥鎖voidomp_destroy_lock（omp_lock_t*）結(jié)束一個(gè)互斥鎖的使用并釋放內(nèi)存voidomp_set_lock（omp_lock_t*） 獲得一個(gè)互斥鎖voidomp_unset_lock（omp_lock_t*）釋放一個(gè)互斥鎖intomp_test_lock（omp_lock_t*）試圖獲得一個(gè)互斥鎖，并在成功是返回真（true），失敗是返回假（false）事件同步機(jī)制用來控制代碼的執(zhí)行順序，使得某一部分代碼必須在其它的代碼執(zhí)行完畢之后才能執(zhí)行OpenMP中的事件同步主要包括：同步屏障（barrier）定序區(qū)段（orderedsections）主線程執(zhí)行（master）隱含的同步屏障（barrier）在每一個(gè)并行區(qū)域都會(huì)有一個(gè)隱含的同步屏障一個(gè)同步屏障要求所有的線程執(zhí)行到此屏障，然后才能夠繼續(xù)執(zhí)行下面的代碼#pragmaompfor，#pragmaompsingle，#pragmaompsections程序塊都包含自己的隱含的同步屏障為了避免在循環(huán)過程中不必要的同步屏障，可以增加nowait子句到相應(yīng)的編譯指導(dǎo)語句中明確的同步屏障語句在有些情況下，隱含的同步屏障并不能提供有效的同步措施程序員可以在需要的地方插入明確的同步屏障語句#pragmaompbarrier在并行區(qū)域的執(zhí)行過程中，所有的執(zhí)行線程都會(huì)在同步屏障語句上進(jìn)行同步#pragmaompparallel{ initialization（）; #pragmaompbarrier process（）;}循環(huán)并行化中的順序語句（ordered）對于循環(huán)并行化中的某些處理需要規(guī)定執(zhí)行的順序典型的情況：在一次循環(huán)的過程中