并行計算方法

并行計算算法并行計算機基礎并行算法的設計并行數(shù)值算法算例1.1并行計算并行計算(ParallelComputing)是指在并行計算機或分布式計算機等一些高性能計算系統(tǒng)上所做的計算，其硬件基礎是高性能并行計算機。并行計算的主要目的是以最快的速度求解數(shù)字龐大且過程繁雜的計算問題。概念1.2并行計算機分類1、單指令多數(shù)據(jù)流（SIMD）型并行2、多指令多數(shù)據(jù)流（MIMD）型并行機：

并行向量處理機、大規(guī)模并行處理機、分存共享存儲多處理機、對稱多處理機、、工作站機群并行計算機就是由多個處理單元(處理器或計算機)組成的計算機系統(tǒng)，這些處理單元相互通信和協(xié)作，能快速、高效地求解大型復雜問題。1.3并行計算機體系結構1、總線結構

2、網(wǎng)格結構

3、超立方體結構并行計算機體系結構是指在所應用的并行處理系統(tǒng)中各個節(jié)點機之間的連接方式。1.4基本性能指標1、CPU和存儲器：工作負載：執(zhí)行時間、指令數(shù)目、浮點運算數(shù)。并行執(zhí)行時間：計算時間+并行開銷時間+相互通信時間存儲器的層次結構：容量、延遲、帶寬2、機器的成本，價格與性能/價格比3、加速比性能：Amdahi定律、Gustafson定律、Sun和Ni定律2.1并行算法設計并行算法是一些可同時執(zhí)行的諸多進程的集合，這些進程相互作用和協(xié)調動作從而達到給定問題的解。并行算法的復雜度：運行時間、處理器數(shù)目、并行算法的成本、總運算量2.2設計策略技術1、并行算法設計

串行算法的直接并行化設計新的算法借用已有并行算法2、劃分設計技術：均勻劃分、方根劃分、對數(shù)劃分、功能劃分3、分治設計技術：平衡樹技術、倍增設計技術、流水線設計技術2.3并行設計過程1、任務劃分：數(shù)據(jù)劃分、功能劃分2、通信劃分：局部/全局通信、結構化/非結構化、靜態(tài)/動態(tài)、同步/異步3、任務組合4、處理器映射：負載平衡算法、任務調度算法2.4并行計算編程環(huán)境1、分布傳遞并行編程：消息傳遞

MPIPVM并行虛擬機（ParallelVirtualMachine）2.4并行計算編程環(huán)境2、共享存儲并行編程OpenMP是一種面向共享內存以及分布式共享內存的多處理器多線程并行編程語言2.4并行計算實現(xiàn)過程并行計算實現(xiàn)過程3.1矩陣運算Creativity1、矩陣的劃分：

帶狀劃分：塊帶狀劃分、循環(huán)帶狀劃分

棋盤劃分：塊棋盤劃分、循環(huán)棋盤劃分2、矩陣的轉置、矩陣向量乘法、矩陣乘法、矩陣分解、求逆、求特征值等3.2線性方程組的求解Creativity1、直接求解

奇偶歸約求解

有回代的列主元高斯消去無回代的高斯-約旦法2、迭代算法高斯-賽德爾迭代法雅可比迭代法超松弛迭代法多重網(wǎng)格法3.3稀疏矩陣向量乘法算例Creativity1、坐標存儲法4稀疏矩陣向量乘法算例Creativity2、矩陣向量串行算法4稀疏矩陣向量乘法算例Creativity3、矩陣向量的并行化分析4稀疏矩陣向量乘法算例Creativity4、矩陣向量并行算法4稀疏矩陣向量乘法算例Creativity5、4稀疏矩陣向量乘法算例Crea