高性能矩陣乘法

高性能矩陣乘法2024/12/82并行算法優(yōu)化研究相對(duì)于傳統(tǒng)面向?qū)ο蟠兴惴ǖ?個(gè)挑戰(zhàn)：同步：兩個(gè)或者多個(gè)線程協(xié)調(diào)其行為的過(guò)程通信：與線程之間交換數(shù)據(jù)相關(guān)的帶寬和延遲問(wèn)題負(fù)載均衡：多個(gè)線程之間工作量分布的情況，給各個(gè)線程（執(zhí)行核）分配均勻的工作可擴(kuò)展性：衡量在性能更加強(qiáng)勁的系統(tǒng)上運(yùn)行軟件時(shí)能否有效利用更多線程的指標(biāo)， 觀察應(yīng)用程序在更高級(jí)的平臺(tái)上運(yùn)行 4核到8核線性增長(zhǎng)2024/12/83多線程（核）設(shè)計(jì)主要分解模式任務(wù)分解： 對(duì)程序根據(jù)其執(zhí)行的功能進(jìn)行分解的過(guò)程數(shù)據(jù)分解： 將應(yīng)用程序根據(jù)各任務(wù)所處理的數(shù)據(jù)而非按任務(wù)的天然特性來(lái)進(jìn)行分解數(shù)據(jù)流分解： 研究數(shù)據(jù)在諸任務(wù)之間如何流動(dòng)，根據(jù)任務(wù)之間的數(shù)據(jù)流關(guān)系對(duì)問(wèn)題 進(jìn)行分解模式分解方式任務(wù)級(jí)并行模式任務(wù)分解DivideandConquer任務(wù)/數(shù)據(jù)分解幾何分解模式數(shù)據(jù)分解流水線模式數(shù)據(jù)流分解波峰（wavefront）模式數(shù)據(jù)流分解2024/12/84多線程（核）設(shè)計(jì)主要分解模式任務(wù)分解： 對(duì)程序根據(jù)其執(zhí)行的功能進(jìn)行分解的過(guò)程數(shù)據(jù)分解： 將應(yīng)用程序根據(jù)各任務(wù)所處理的數(shù)據(jù)而非按任務(wù)的天然特性來(lái)進(jìn)行分解數(shù)據(jù)流分解： 研究數(shù)據(jù)在諸任務(wù)之間如何流動(dòng)，根據(jù)任務(wù)之間的數(shù)據(jù)流關(guān)系對(duì)問(wèn)題 進(jìn)行分解

分解方式設(shè)計(jì)說(shuō)明任務(wù)分解不同的程序行為采用不同的線程實(shí)現(xiàn)常用于GUI應(yīng)用程序數(shù)據(jù)分解多個(gè)線程對(duì)不同的數(shù)據(jù)塊執(zhí)行相同的操作常用于音頻、圖像處理和科學(xué)計(jì)算應(yīng)用程序數(shù)據(jù)流分解一個(gè)線程的輸出作為另一個(gè)線程的輸入尤其應(yīng)注意盡量消除啟動(dòng)和排空延遲2024/12/85矩陣乘法算法探討

在工程科學(xué)計(jì)算中，矩陣乘積是最基本的運(yùn)算 典型的n階稠密方陣乘積算法的時(shí)間復(fù)雜度是O(n3)。 目前對(duì)大型矩陣乘積運(yùn)算的處理主要是采用分治思想，將矩陣分布在多個(gè)節(jié)點(diǎn)上，但每個(gè)結(jié)點(diǎn)上的小矩陣仍要立方級(jí)乘法次數(shù)。 基于分之思想的兩種劃分策略：條形劃分和塊狀（棋盤）劃分的6種常見(jiàn)分布式矩陣乘法并行算法。

2024/12/86基于不同劃分策略的矩陣乘法算法探討

1、條形（stripedpartitioning）劃分的矩陣乘法并行算法

行條劃分 列條劃分兩兩組合：行列、行行、列列、列行2024/12/87基于不同劃分策略的矩陣乘法算法探討

2、塊狀劃分(checkerboardpartitioning)的矩陣乘法并行算法

稱為棋盤劃分Cannon

DescriptionforimplementationofMPIprogramtocomputeMatrixMatrixMultiplicationusingblockcheckerboardpartitioning

andCannonAlgorithm

2024/12/88Cannon

Objective

Computingthematrix-matrixmultiplicationonSMPSystem.UseblockcheckerboardpartitioningofthematricesandCannon'sAlgorithm.

AssumptionSizeofthesquarematricesp=q2andthesizeofsquarematricesAandBisevenlydivisiblebyq.

Itisassumedthatthenumberofblocksareequaltothenumberofprocessors.2024/12/89Cannon

Cannon'salgorithmisbasedoncartesianvirtualtopologyAandBaresquarematricesofsizenandCbetheoutput

matrix.Thesematricesaredivedintoblocksorsubmatricestoperformmatrix-matrixoperationsinparallelnxnmatrixAcanberegardedasqxqarrayofblocksAi,j(0<=i<q,0<=j<q)suchthateachblockisan(n/q)x(n/q)submatrixWeusep

processorstoimplementtheblockversionofmatrixmultiplicationinparallelbychoosingqasasquarerootof

p

andcomputeadistinctblockCi,joneachprocessor.2024/12/810傳統(tǒng)并行

2024/12/811傳統(tǒng)并行

ThematricesAandBare

partitionedintop

blocks,A

i,j

andBi,j

(0<=i<q,0<=j<q)ofsize

(n/qxn/q)

oneachprocess.Theseblocksaremappedontoaqxq

logicalmeshofprocesses.TheprocessesarelabeledfromP0,0toPq-1,q-1.2024/12/812傳統(tǒng)并行

ProcessPi,jinitiallystoreblockmatricesAi,jandBi,jandcomputesblockCi,jofresultmatrix.TocomputesubmatrixCi,j,weneedallsubmatrices,Ai,kand

Bk,j(0

<=k<q).Toacquirealltherequiredblocks,anall-to-allbroadcastofmatrixAi,j's

isperformedineachrowandsimilarlyineachcolumnofmatrixBi,j's.MPIcollectivecommunicationisusedtoperformthisoperations.2024/12/813傳統(tǒng)并行

AfterPi,jacquires,Ai,0,Ai,1,Ai,2

,Ai,q-1andB0,j

,B1,j

,B2,j

,Bq-1,j

,itperformstheserialblockmatrixtomatrixmultiplicationandaccumulatesthepartialblock

matrixCi,jofmatrixC.ToobtaintheresultantproductmatrixC,processeswithrank0gathersalltheblockmatricesbyusingMPI_Gather

collectivecommunicationoperation.2024/12/814Cannon

pprocessorsarrangedinqxqsquaregridofprocessorsandtheinputmatrices.AandBaredistributedamongtheprocessesincheckerboardfashion.ItresultsinconstructingpblockmatricesofAandB.Itusesonlypoint-to-pointcommunication

forcircularlyshiftingblocksofmatrixAandmatrixBamongpprocesses.

2024/12/815Cannon-inital

Thealgorithmproceedsinq

stages.ThefirststepinthisalgorithmistoperforminitialalignmentoftheblockmatrixAandblockmatrixB.TheblocksofmatrixAarecircularlyshiftedtothe

i

positionstoleftintherowofthesquaregridofprocesses,wherei

istherow

numberoftheprocessinthemesh.TheblocksofmatrixBarecircularlyshiftedj

positionsupwards,wherejisthecolumn

numberoftheprocessintheprocessesmesh.2024/12/816Cannon-inital2024/12/817Cannon-runningThealgorithmperformsthefollowingstepsineachstage:

1.MultiplytheblockofmatrixAandmatrixBandaddtheresultantmatrixtogettheblockmatrixC,whichisinitiallysettozero.

2.CircularlyshifttheblocksofmatrixAtoleftintherowsoftheprocessesandtheblocksofmatrixBupwardsinthecolumnsofthesquaregridofprocessesinawraparoundmanner.

2024/12/818Cannon-running2024/12/819Cannon-running2024/12/820書(shū)中Cannon-bug2024/12/821

MPI_SendandMPI_Recvisnotusedforpoint-to-pointcommunicationbecauseifalltheprocessescallMPI_SendorMPI_Recv

indifferentorderthedeadlockedsituationmayarise.

Howtofix?指派一個(gè)緩沖區(qū)，使用MPI_Irecv/MPI_Isend非阻塞式通訊函數(shù)，MPI_wait.MPI_Sendrecv.

2024/12/822Cannon-bug

死鎖的問(wèn)題 問(wèn)題來(lái)源于main_shift()這個(gè)函數(shù)中MPI函數(shù)的使用。在Cannon-mpi代碼的main_shift()模塊中，文獻(xiàn)中算法使用的是MPI的阻塞通信函數(shù):MPI_Send/MPI_Recv,這就使得Cannon算法在執(zhí)行循環(huán)左移和循環(huán)上移時(shí)，矩陣規(guī)模超過(guò)共享buff的容量時(shí)出現(xiàn)循環(huán)等待的死鎖狀況。 在曙光4000集群系統(tǒng)上，該算法的發(fā)生死鎖的矩陣下限規(guī)模是200×200的浮點(diǎn)型矩陣。2024/12/823Cannon-bug原始（阻塞式）的main_shift模塊：

voidmain_shift() { … /*將分塊b左移位*/

MPI_Send(a,dl2,MPI_FLOAT,get_index(my_row,my_col-1, sp),1, MPI_COMM_WORLD);

MPI_Recv(a,dl2,MPI_FLOAT,get_index(my_row, my_col+1,sp),1, MPI_COMM_WORLD,&status); /*將分塊b上移位*/

MPI_Send(b,dl2,MPI_FLOAT,get_index(my_row-1,my_col, sp),1, MPI_COMM_WORLD);

MPI_Recv(b,dl2,MPI_FLOAT,get_index(my_row+1, my_col,sp),1, MPI_COMM_WORLD,&status);

}2024/12/824Cannon-bug改進(jìn)（非阻塞式）的main_shift模塊

…

c[i*dl+j]+=a[i*dl+k]*b[j*dl+k]; //改進(jìn)了的Cannon按行存取

/*將分塊a左移位*/

MPI_Isend(a,dl2,MPI_FLOAT,get_index(my_row,my_col-1,sp),1,MPI_COMM_WORLD,&myrequest_s);

MPI_Irecv(buf,dl2,MPI_FLOAT,get_index(my_row,my_col+1,sp),1,MPI_COMM_WORLD,&myrequest_r);

MPI_Wait(&myrequest_s,&status);

MPI_Wait(&myrequest_r,&status);

memcpy(a,buf,sizeof(float)*dl2); /*將分塊b上移位*/

MPI_Isend(b,dl2,MPI_FLOAT,get_index(my_row-1,my_col,sp),1,MPI_COMM_WORLD,&myrequest_s);

MPI_Irecv(buf,dl2,MPI_FLOAT,get_index(my_row+1,my_col,sp),1,MPI_COMM_WORLD,&myrequest_r);

MPI_Wait(&myrequest_s,&status);

MPI_Wait(&myrequest_r,&status);

memcpy(b,buf,sizeof(float)*dl2);2024/12/825Cannon-bugMPI_Irecv僅僅初始化接受操作,在與之對(duì)應(yīng)的MPI_Wait函數(shù)的調(diào)用返回之前，將不能訪問(wèn)bufferMPI_Irecv函數(shù)返回時(shí)，handle指向一個(gè)MPI_Request對(duì)象，它代表了一個(gè)已近初始化了的通信操作。這個(gè)函數(shù)并不返回一個(gè)指向MPI_Status對(duì)象的指針，因?yàn)閷?shí)際的接受操作并未完成。MPI_Wait會(huì)一直阻塞，直至參數(shù)handle所關(guān)聯(lián)的操作完成，對(duì)發(fā)送來(lái)說(shuō)，此時(shí)就可以向緩沖區(qū)寫入新的值。而對(duì)接收來(lái) 說(shuō)，便可以從緩沖區(qū)讀取消息，而status所指向的MPI_Status對(duì)象包含了所接收消息的信息。新增加buf的目的就是防止在a還未發(fā)送出去的時(shí)候就recv內(nèi)容至a中導(dǎo)致信息的錯(cuò)誤，只有在MPI_Wait返回以后，再調(diào)用mencpy將buf的內(nèi)容寫回a中，完成更新。2024/12/826Cannon乘法mpi代碼主要模塊intget_index(introw,intcol,intsp)//處理器邏輯陣列坐標(biāo)至rank號(hào)的轉(zhuǎn)換

voidrandom_A_B()//隨機(jī)生成矩陣A/Bvoidscatter_A_B() //rank=0的處理器向外分發(fā)A,B的相關(guān)塊voidinit_alignment()//矩陣A/B初始對(duì)齊

Voidmain_shift()//分塊矩陣左移和上移，并計(jì)算分塊c這個(gè)模塊就是我改造該算法的重點(diǎn)部位

voidcollect_c() //rank=0的處理器從其余處理器收集分塊矩陣c

voidprint(float**m,char*str)//打印矩陣

intmain(intargc,chat*argv[])//主過(guò)程，cannon算法，矩陣相乘2024/12/827Cannon-review循環(huán)移位對(duì)齊左移上移分而治之的并行計(jì)算思想任務(wù)劃分?jǐn)?shù)據(jù)劃分精簡(jiǎn)通訊All-to-AllPoint-to-Point每年進(jìn)入夏季，由于氣溫高、濕度大，對(duì)幼兒的照顧要特別注意，以下是出國(guó)留學(xué)網(wǎng)為您搜集整理的育兒健康小常識(shí)1.不是所有寶寶都需額外補(bǔ)充維生素很多家長(zhǎng)會(huì)問(wèn)，孩子多大需要開(kāi)始補(bǔ)充維生素?小嬰兒是否需要補(bǔ)充維生素?劉主任表示，孩子多大補(bǔ)充維生素沒(méi)有明確的界定，如果寶寶是吃母乳或奶粉，一般營(yíng)養(yǎng)物質(zhì)都足夠、全面，不需要額外補(bǔ)充維生素，如果出現(xiàn)了某些癥狀，如缺乏維生素B或維生素C等，再有針對(duì)性的補(bǔ)充會(huì)更好。維生素D可以促進(jìn)鈣的吸收，小嬰兒也應(yīng)該補(bǔ)充，特別是純母乳喂養(yǎng)的寶寶，如果沒(méi)有補(bǔ)充維生素