Origin分布共享存儲(chǔ)器結(jié)構(gòu)的大規(guī)模并行多處理機(jī)系統(tǒng)采用

1、Origin 2000分布共享存儲(chǔ)器結(jié)構(gòu)的大規(guī)模并行 多處理機(jī)系統(tǒng)，采用超結(jié)點(diǎn)的模塊結(jié)構(gòu)，可以從 1個(gè)處理器擴(kuò)展到128個(gè)處理器。 Origin 2000采用超標(biāo)量MIPS R10000處理器，運(yùn) 行Unix的64位IRIX操作系統(tǒng)。,7.7 多處理機(jī)實(shí)例,第章 多處理機(jī),Origin基于NUMA體系結(jié)構(gòu)的 每個(gè)結(jié)點(diǎn)可安裝1個(gè)或2個(gè)MIPS R10000微 處理器、第二級(jí)高速緩存（L2 Cache）、主存 儲(chǔ)器、目錄存儲(chǔ)器及Hub等，Hub用于連接微處 理器、存儲(chǔ)器、IO和路由器等。 Origin存儲(chǔ)器系統(tǒng)每個(gè)結(jié)點(diǎn)的主存儲(chǔ)器容量: 4GB 結(jié)點(diǎn)的Hub內(nèi)含4個(gè)接口和交叉開(kāi)關(guān),7.7 多處理機(jī)實(shí)

2、例,Origin體系結(jié)構(gòu),存儲(chǔ)器最大傳輸率為780Mbs IO和路由器接口最大傳輸率: 2780Mbs(1.56Gb/s) Origin的路由器有6個(gè)端口，用于連接結(jié)點(diǎn)或其它路由 器。Origin的路由器和互連網(wǎng)絡(luò)是ASIC芯片，通過(guò)芯 片內(nèi)部的交叉開(kāi)關(guān)選擇數(shù)據(jù)傳送路徑。 為了減少數(shù)據(jù)在路由器之間的傳送延遲，加快傳送速 度，可將處于對(duì)角位置的路由器進(jìn)行連接。,7.7 多處理機(jī)實(shí)例,4處理器系統(tǒng),16處理器系統(tǒng),128處理器系統(tǒng),128處理器構(gòu)成的Origin 2000系統(tǒng)由4個(gè)立方體組成，在立方體之間傳送數(shù)據(jù)多經(jīng)過(guò)了一級(jí)路由器。 在結(jié)點(diǎn)內(nèi)部實(shí)現(xiàn)的是SMP（對(duì)稱(chēng)多處理器）結(jié)構(gòu)，由于只有兩個(gè)處理器

3、，所以不存在SMP結(jié)構(gòu)的總線瓶頸問(wèn)題。在結(jié)點(diǎn)之間實(shí)現(xiàn)的是大規(guī)模并行處理結(jié)構(gòu)，但又解決了共享存儲(chǔ)器問(wèn)題。因此在Origin系統(tǒng)中，無(wú)論是訪問(wèn)存儲(chǔ)器的時(shí)間還是結(jié)點(diǎn)間傳送數(shù)據(jù)的頻帶寬度都很理想。,7.7 多處理機(jī)實(shí)例,訪問(wèn)存儲(chǔ)器的延遲時(shí)間： 系統(tǒng)CPU數(shù) 最小延遲時(shí)間最大延遲時(shí)間 平均延遲時(shí)間 2 318ns 343ns 343ns 4 318ns 554ns 441ns 8 318ns 759ns 623ns 16 318ns 759ns 691ns 32 318ns 836ns 764ns 64 318ns 1067ns 851ns 128 318ns 1169ns 959ns,7.7 多處理機(jī)

4、實(shí)例,系統(tǒng)頻帶寬度： 處理器數(shù) 頻寬（無(wú)快速連線）* 頻寬（有快速連線）* 8 1.56Gb/s 3.12Gb/s 16 3.12Gb/s 6.24Gb/s 32 6.24Gb/s 12.5Gb/s 64 12.5Gb/s - 128 25Gb/s - *相當(dāng)于虛線情況,7.7 多處理機(jī)實(shí)例,Origin系統(tǒng)的存儲(chǔ)器層次結(jié)構(gòu)可分為寄存器、 L1 Cache、 L2 Cache和主存儲(chǔ)器，其中寄存器和L1 Cache在R10000微處理器中。 寄存器的存取時(shí)間最短，L1 Cache又分成指令Cache和數(shù)據(jù)Cache兩部分，這是為了避免取指令和存取數(shù)據(jù)發(fā)生沖突。 L2 Cache安裝在結(jié)點(diǎn)卡中，

5、統(tǒng)一存放指令和數(shù)據(jù)，由SRAM組成。,7.7 多處理機(jī)實(shí)例,Origin的主存儲(chǔ)器地址是統(tǒng)一編址的，每個(gè)處理器通過(guò)互連網(wǎng)絡(luò)可訪問(wèn)系統(tǒng)中任一存儲(chǔ)單元。 當(dāng)一個(gè)處理器初次讀取某一存儲(chǔ)單元數(shù)據(jù)時(shí)，該數(shù)據(jù)在提供給CPU的同時(shí)也拷貝到本結(jié)點(diǎn)的Cache中。 同一數(shù)據(jù)在各個(gè)Cache中將保持一致。Origin系統(tǒng)的Cache采用寫(xiě)作廢協(xié)議。,7.7 多處理機(jī)實(shí)例,Origin采用基于目錄的協(xié)議。在Origin的結(jié)點(diǎn)中，有一個(gè)存儲(chǔ)器和一個(gè)目錄存儲(chǔ)器。存儲(chǔ)器被劃分為存儲(chǔ)器塊（每個(gè)存儲(chǔ)器塊對(duì)應(yīng)于一個(gè)Cache行）。 每塊對(duì)應(yīng)一個(gè)目錄項(xiàng)，每個(gè)目錄項(xiàng)包含其對(duì)應(yīng)存儲(chǔ)器塊的狀態(tài)信息和系統(tǒng)中各Cache共享存儲(chǔ)情況的位向量，根據(jù)位向量可以知道本存儲(chǔ)器塊