虛擬存儲器和高速緩沖存儲器

1、虛擬存儲器和高速緩沖存儲器虛擬存儲器主要內(nèi)容虛擬存儲器主要內(nèi)容v虛擬存儲器的概述v虛擬存儲器的發(fā)展背景v虛擬存儲器的工作原理v虛擬存儲技術(shù)的分類v虛擬存儲器的特點(diǎn)虛擬存儲器： 虛擬存儲器：就是采用一定的方法將一定的外存容量模擬成內(nèi)存，同時對程序進(jìn)出內(nèi)存的方式進(jìn)行管理從而得到一個比實(shí)際內(nèi)存容量大得多的內(nèi)存空間，使得程序的運(yùn)行不受內(nèi)存大小的限制。 虛擬存儲器解決了存儲容量和存取速度之間的矛盾，同時也是管理存儲設(shè)備的有效方法。虛擬存儲器發(fā)展背景u主存儲器通常用動態(tài)隨機(jī)存儲器（DRAM）實(shí)現(xiàn)，它的存儲容量相對比較小，速度比較快，單位容量的價格比較貴。u虛擬存儲器由主存儲器和聯(lián)機(jī)工作的外部存儲器共同組成

2、。u外部存儲器通常為磁盤存儲器，它的存儲容量很大，與主存儲器相比，速度很低，單位容量的價格很便宜。 由于早起計算機(jī)系統(tǒng)的存儲容量，特別是內(nèi)存容量成本非常高、容量也很小，對于大型應(yīng)用程序或多程序應(yīng)用就受到了很大的限制。為了克服這樣的限制，人們就采用了虛擬存儲的技術(shù)。虛擬存儲器的發(fā)展v虛擬存儲器源出于計算機(jī)的一級存儲器概念。v1970年，美國RCA公司研究成功虛擬存儲器系統(tǒng)。vIBM公司于1972年IBM370系統(tǒng)上全面采用了虛擬存儲技術(shù)。 隨著計算機(jī)技術(shù)以及相關(guān)信息處理技術(shù)的不斷發(fā)展，人們對存儲的需求越來越大，這樣的需求刺激了各種新技術(shù)的出現(xiàn)。在這個發(fā)展過程中也由幾個階段組成。u 首先是磁盤條帶

3、集（RAID）技術(shù)：它將多個物理磁盤通過一定的邏輯關(guān)系集合起來，成為一個大容量的虛擬磁盤。u 其次就是存儲區(qū)域網(wǎng)絡(luò)（SAN）技術(shù)：SAN的廣域化則旨在將存儲設(shè)備實(shí)現(xiàn)成為一種公用設(shè)施，任何人員、任何主機(jī)都可以隨時隨地獲取各自想要的數(shù)據(jù)。u 目前討論比較多的包括iSCSI技術(shù)。工作原理v中央處理器訪問主存的邏輯地址，以確定該信息是否存放在主存內(nèi)。v如該信息已在主存內(nèi)，則轉(zhuǎn)而執(zhí)行；如果該信息不在主存內(nèi)，則檢查主存中是否有空閑區(qū)，如果沒有，便將某個暫時不用的調(diào)出送往輔存，以便將這組信息調(diào)入主存。v從輔存讀出所要的信息，并送到主存空閑區(qū)。v從地址變換表讀出與邏輯地址對應(yīng)的物理地址。v根據(jù)物理地址從主存中

4、存取必要的信息。 虛擬存儲器是由硬件和操作系統(tǒng)自動實(shí)現(xiàn)存儲信息調(diào)度和管理的。它的工作過程包括5個步驟：虛擬存儲技術(shù)的分類：根據(jù)拓?fù)浣Y(jié)構(gòu)來分： 對稱式虛擬存儲和非對稱式虛擬存儲 對稱式虛擬存儲：是指虛擬存儲控制設(shè)備與存儲軟件系統(tǒng)、交換設(shè)備集成為一個整體，內(nèi)嵌在網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑中。v采用大容量高速緩存，顯著提高數(shù)據(jù)傳輸速度。v多端口并行技術(shù)，消除了I/O瓶頸。 v 邏輯存儲單元提供了高速的磁盤訪問速度。v可方便的連接交換設(shè)備，為系統(tǒng)的擴(kuò)展和互連提供了技術(shù)保障 。對稱式虛擬存儲技術(shù)的特點(diǎn)：非對稱式虛擬存儲：1、 將不同物理硬盤陣列中的容量進(jìn)行邏輯組合，實(shí)現(xiàn)虛擬的帶區(qū)集，將多個陣列控制器端口綁定，在一

5、定程度上提高了系統(tǒng)的可用帶寬。 2、 在交換機(jī)端口數(shù)量足夠的情況下，可在一個網(wǎng)絡(luò)內(nèi)安裝兩臺虛擬存儲設(shè)備，實(shí)現(xiàn)Strip信息和訪問權(quán)限的冗余。 非對稱式虛擬存儲技術(shù)的特點(diǎn)：是指虛擬存儲控制設(shè)備獨(dú)立于數(shù)據(jù)傳輸路徑之外。從虛擬化存儲的實(shí)現(xiàn)原理來分： 數(shù)據(jù)塊虛擬存儲方案著重解決數(shù)據(jù)傳輸過程中的沖突和延時問題。 數(shù)據(jù)塊虛擬存儲方案利用虛擬的多端口并行技術(shù)，為多臺客戶機(jī)提供了極高的帶寬，最大限度上減少了延時與沖突的發(fā)生。 在實(shí)際應(yīng)用中，數(shù)據(jù)塊虛擬存儲方案以對稱式拓?fù)浣Y(jié)構(gòu)為表現(xiàn)形式。 數(shù)據(jù)塊虛擬、虛擬文件系統(tǒng)虛擬文件系統(tǒng)存儲： 虛擬文件系統(tǒng)存儲方案著重解決大規(guī)模網(wǎng)絡(luò)中文件共享的安全機(jī)制問題。通過對不同的站點(diǎn)

6、指定不同的訪問權(quán)限，保證網(wǎng)絡(luò)文件的安全。 在實(shí)際應(yīng)用中，虛擬文件系統(tǒng)存儲方案以非對稱式拓?fù)浣Y(jié)構(gòu)為表現(xiàn)形式。 虛擬存儲的特點(diǎn)：u虛擬存儲提供了一個大容量存儲系統(tǒng)集中管理的手段，由網(wǎng)絡(luò)中的一個環(huán)節(jié)（如服務(wù)器）進(jìn)行統(tǒng)一管理，避免了由于存儲設(shè)備擴(kuò)充所帶來的管理方面的麻煩。u虛擬存儲對于視頻網(wǎng)絡(luò)系統(tǒng)最有價值的特點(diǎn)是：可以大大提高存儲系統(tǒng)整體訪問帶寬。 u虛擬存儲技術(shù)為存儲資源管理提供了更好的靈活性，可以將不同類型的存儲設(shè)備集中管理使用。 由于虛擬存儲具有上述特點(diǎn)，虛擬存儲技術(shù)正逐步成為存儲管理的主流技術(shù) 高數(shù)緩沖存儲器u高速緩沖存儲器概述u高速緩沖存儲器與CPU的關(guān)系u高數(shù)緩沖存儲器的工作原理u高數(shù)緩沖

7、存儲器的地址映射u高速緩沖存儲器的命中率u影響命中率的因素解決CPU和主存速度差異的方法 由于CPU和主存儲器是不同材料制成的，因而他們之間在速度上是不匹配的。為了使CPU不致因?yàn)榈却鎯ζ髯x寫操作的完成而無事可做，就采取了一些加速CPU和存儲器之間有效傳輸?shù)奶厥獯胧?。u主存儲器采用更高速的技術(shù)縮短存儲器的讀出時間。u采用并行操作的雙端口存儲器。u在存儲器和主存儲器之間插入一個高速緩沖存儲器。實(shí)現(xiàn)途徑：高速緩沖存儲器（ cache）： 是存在于計算機(jī)存儲系統(tǒng)的層次結(jié)構(gòu)中，介于中央處理器和主存儲器 之間的高速小容量存儲器。 Cache是用來存放那些近期需要運(yùn)行的指令與數(shù)據(jù)，提高CPU對存儲器的訪

8、問速度。是為了解決CPU和主存之間速度不匹配而采取的一項(xiàng)重要技術(shù)。Cache與CPU的關(guān)系uCache是介于CPU與主存之間的小容量存儲器uCPU可直接訪問cacheuCache能高速的向CPU提供指令和數(shù)據(jù)從而加快了程序的執(zhí)行速度。uCache可以放到CPU中形成兩級以上的緩存。CPU存儲系統(tǒng)關(guān)系圖 隨著半導(dǎo)體器件集成度進(jìn)一步提高，cache已經(jīng)放入到CPU中其工作速度接近CPU的速度，從而可以組成兩級以上的cache系統(tǒng)。目前所有主流處理器大都具有一級緩存和二級緩存，少數(shù)高端處理器還集成了三級緩存。 cache中央處理器 Cache外存主存中央處理器 Cachecache中央處理器 Cac

9、hecache中央處理器 Cachecache中央處理器 Cachecache中央處理器 Cache主存cache中央處理器 Cache外存主存cache中央處理器 Cachecache中央處理器 Cache主存中央處理器 Cachecache中央處理器 Cachecache中央處理器 Cachecache中央處理器 Cachecache中央處理器 Cache主存cache中央處理器 Cache外存主存cache中央處理器 Cachecache外存主存cachecachecachecache主存cache外存主存cachecache主存cachecachecachecache主存cache外存

10、主存cache中央處理器 Cache二級緩存 二級緩存是為了協(xié)調(diào)一級緩存與內(nèi)存之間的速度。它比一級緩存速度更慢，容量更大，主要就是做一級緩存和內(nèi)存之間數(shù)據(jù)臨時交換的地方用。 三級緩存是為讀取二級緩存后未命中的數(shù)據(jù)設(shè)計的種緩存。在擁有三級緩存的CPU中，只有約5%的數(shù)據(jù)需要從內(nèi)存中調(diào)用，這進(jìn)一步提高了CPU的效率。 三級緩存三級緩存的性能影響 v在游戲方面，提升三級緩存的容量對游戲的性能影響很大，如果是網(wǎng)吧機(jī)提升三級緩存的容量，會有顯著的性能提升的。 v對PC機(jī)來說，三級緩存其實(shí)只是做了個輔助的作用，除了服務(wù)器，其實(shí)對大多數(shù)家庭機(jī)沒什么用的， 對于家庭機(jī)內(nèi)存是最重要的。高速存儲器的工作原理圖：C

11、PU主存LRU管理邏輯相聯(lián)存儲圖表cache數(shù)據(jù)總線CAM地址總線引入高速緩沖存儲器的理論依據(jù) 系統(tǒng)引入高速緩沖存儲器的理論依據(jù)是程序訪存局部性規(guī)則。大部分程序的執(zhí)行方式是順序執(zhí)行，所需的數(shù)據(jù)也都順序排列。程序運(yùn)行時大部分時間內(nèi)對程序的訪問局限在一個較小的區(qū)域內(nèi)，這就是程序訪問的局部性規(guī)律。 依據(jù)這個規(guī)則，在CPU與主存之間設(shè)立高速緩存，將主存中被頻繁訪問區(qū)域內(nèi)的數(shù)據(jù)調(diào)入高速緩存，CPU從高速緩存中獲取所需的數(shù)據(jù)，可大大的提高主存的訪問速度。程序的局部性原理程序在一定時間段內(nèi)通常只訪問較小的地址空間兩種局部性：時間局部性和空間局部性 時間局部性：最近被訪問的信息很可能還要被訪問。 將最近被訪問

12、的信息項(xiàng)裝入到Cache中。 空間局部性：最近被訪問的信息臨近的信息也可能被訪問。 將最近被訪問的信息項(xiàng)臨近的信息一起裝入到Cache中。地址空間訪問概率Cache替換算法隨機(jī)替換（RAND） 隨機(jī)找一個存儲單元進(jìn)行替換，比較簡單。最不經(jīng)常使用算法（LFU） 將一段時間內(nèi)被訪問次數(shù)最少的那行數(shù)據(jù)換出。 最近最少使用算法（LRU） 需要計算字塊的使用次數(shù)，開銷大，但平均命中率較高。隨機(jī)替換 隨機(jī)替換策略實(shí)際上并不是嚴(yán)格意義上的算法，從特定的行位置中隨機(jī)的選取一行換出即可。 這種策略在硬件上容易實(shí)現(xiàn)，且速度也比較快。缺點(diǎn)是隨意換出的數(shù)據(jù)很可能是馬上要用的，從而降低了命中率和cache的工作效率。

13、但隨著cache的容量增大這種不足就會相應(yīng)減小。最不經(jīng)常使用算法（LFU） LFU算法認(rèn)為應(yīng)將一段時間內(nèi)被訪問次數(shù)最少的那行數(shù)據(jù)換出。為此每行設(shè)置一個計數(shù)器。新行建立后從0開始計數(shù)，每訪問一次，被訪問行的計數(shù)器加1。當(dāng)需要替換時，對這些特定行的計數(shù)器進(jìn)行比較，將計數(shù)值最小的換出，同時將這些特定行的計數(shù)器都清零。缺點(diǎn)： 這種算法將計數(shù)周期限定在這些特定行兩次替換之間的 間隔內(nèi)，不能嚴(yán)格反映近期訪問情況。最近最少使用算法（LRU） LRU算法將近期內(nèi)長久未被訪問過的行換出。因此每行也設(shè)定一個計數(shù)器。但它們是cache每命中一次，名中行計數(shù)器清零，其他各行計數(shù)器增1。當(dāng)需要替換時，比較個特定行的計數(shù)

14、值，將最大的行換出。特點(diǎn)： 保護(hù)了剛拷貝到cache的新數(shù)據(jù)，符合cache的工作原理，命中率較高。主存與cache的地址映射 與主存容量相比，cache的容量很小，它保存的內(nèi)容只是主存內(nèi)容的一個子集，且cache與主存的數(shù)據(jù)交換方式是以塊為單位。為了把主存塊放到cache中，必須運(yùn)用某種方法把主存地址定位到cache中，稱為地址映射。地址映射方式：u全相聯(lián)方式方式u直接映射方式u組相連映射方式全相聯(lián)映像方式主存分成若干塊， Cache分成若干塊(比主存塊數(shù)少)，每塊中都有同樣多的字。允許主存任一塊存放到Cache的任一個塊。CPU讀主存時，若內(nèi)容不在Cache，就將主存中的該塊整個存放到Ca

15、che。 是指主存中的地址與塊的內(nèi)容一起存于cache的行中，其中地址存于cache行的標(biāo)記部分中。全相聯(lián)映射方式.cacheL0L7B0B255主存.cacheL7B0主存L0.cacheL7B0主存標(biāo)記位L0.cacheL7B0主存標(biāo)記位全相聯(lián)映像方式特點(diǎn)u主存的字塊可以和Cache的任何字塊對應(yīng)，利用率高，方式靈活。u標(biāo)志位較長，比較電路難于設(shè)計和實(shí)現(xiàn)，成本太高，只適用于小容量的cache。利用率、成本太高。直接映射方式uCache分為若干塊，主存分為若干區(qū)，每區(qū)分為若干塊，每區(qū)的塊數(shù)和Cache一樣大。u主存的塊只能存放在塊號和Cache塊號一致的塊中 是指一種多對一的映射關(guān)系，但主存

16、塊只能映射到cache的一個特定位置上。L0.cacheL7B0主存標(biāo)記位B7B8B15B16行號直接映射示意圖L0.cacheL7B0主存標(biāo)記位B7B8B15B16行號L0L7B0主存B15B16.cache標(biāo)記位B7B8行號直接映像方式特點(diǎn)u主存的字塊只可以和固定的Cache字塊對應(yīng)，方式直接，利用率低，適用于大容量的cache。u標(biāo)志位較短，比較電路易于設(shè)計和實(shí)現(xiàn)，硬件成本低。利用率低，命中率低，效率較低組相聯(lián)映像方式u主存分成若干塊， Cache分成若干塊。每塊中都有同樣多的字。uCache分成同等容量的多個體。主存分為若干區(qū)，主存的塊只能存放在塊號和Cache體中組號一致的塊中，但是

17、放在哪一個體中是隨意的。組相聯(lián)映射方式是直接映射和全相聯(lián)映射的折衷方案，它適度的兼顧了二者的優(yōu)點(diǎn)又盡量避免其缺點(diǎn)，被普遍采用。組相聯(lián)映像方式組相聯(lián)映像方式特點(diǎn)：折衷方案。組間為全相連，組內(nèi)為直接映像。集中了兩個方式的優(yōu)點(diǎn)。成本也不太高。最常用的CACHE映像方式Cache的命中率和命中時間 CPU訪問主存的數(shù)據(jù)或指令存在于高速緩存中時的情況稱為高速緩存命中，高速緩存命中的統(tǒng)計概率稱為高速緩存的命中率。 在高速緩存命中時的訪存時間稱為命中時間，它等于高速緩存的訪問時間。高速緩存的失效率和失效時間 CPU訪問主存的數(shù)據(jù)或代碼不存在高速緩存中的情況稱為高速緩存的失效率。 高速緩存不命中時因訪問主存而

18、增加的訪問時間稱為高速緩存的失效時間，或失效開銷。cache重要性能指標(biāo)：命中率 命中率越高,不命中數(shù)據(jù)的可能性就越小,正確獲取數(shù)據(jù)的可能性就越大,平均訪存時間也就越短。命中率計算公式：h=Nc/(Nc+Nm）Nc表示cache完成存取的總次數(shù)Nm表示主存完成存取的總次數(shù)h定義為命中率表示了cache命中時的訪問時間Tc與cache/主存系統(tǒng)平均訪問時間Ta的關(guān)系。訪問效率計算公式:訪問效率Tm未命中時的主存訪問時間Tmh-1hTcTcTaTce）（Ta=hTc+（1-h）TmCPU執(zhí)行一段程序時，執(zhí)行一段程序時，cache完成存取的次數(shù)為完成存取的次數(shù)為1900次，主存完成存取次，主存完成存

19、取的次數(shù)為的次數(shù)為100次，已知次，已知cache存取周期為存取周期為50ns主存存取周期為主存存取周期為250ns，求求cache/主存系統(tǒng)的效率和平均訪問時間。主存系統(tǒng)的效率和平均訪問時間。解：833. 0250*05. 095. 0*5050)1 (hTcTcTmTceTmh95. 010019001900NmNcNchTa=hTc+（1-h）Tm=60nsuCache的容量。u在組相聯(lián)映象方式中，塊的大小和分組的數(shù)目 uCache的組織方式uCache的替換算法uCache與主存儲器交換信息的單位量（cache line size）。影響命中率的硬件因素主要有以下四點(diǎn)：Cahce的容量

20、與命中率的關(guān)系圖 命中率 Cache容量（KB） Cache的命中率隨它的容量的增加而提高。在Cache容量比較小的時候，命中率的提高得非?？欤SCache容量的增加，命中率提高的速度逐漸降低。如上圖cache容量和命中率的關(guān)系圖可知Cache的命中率與塊大小的關(guān)系由上圖可知cache塊的大小對命中率的影響非常敏感。 v開始時，隨著塊大小的增加，由于程序的空間局部性起作用，同一塊中數(shù)據(jù)的利用率比較高，因此，Cache的命中率增加。v隨著塊大小的增加進(jìn)入Cache中的許多數(shù)據(jù)可能根本用不上。程序時間局部性的作用就會逐漸減弱。最后，當(dāng)塊大小等于整個Cache的容量時，命中率將趨近于零。 當(dāng)Cache的容量一定時，在采用組相聯(lián)映象和變換方式的Cache中，分組的數(shù)目對于Cache命中率的影響是很明顯的。隨著組數(shù)的增加，Cache的命中率要降低。當(dāng)組數(shù)不太大時，例如，512組以下，命中率的降低相當(dāng)少