版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
6.1引言6.2外部存儲設(shè)備6.3可靠性、可用性和可信性6.4廉價磁盤冗余陣列RAID
6.5I/O設(shè)備與CPU和存儲器的連接
6.6I/O系統(tǒng)性能分析
6.7I/O與操作系統(tǒng)第六章輸入/輸出系統(tǒng)6.1引言
1.輸入/輸出系統(tǒng)簡稱I/O系統(tǒng)
包括:
2.I/O系統(tǒng)的重要性◆完成與外部系統(tǒng)的信息交換,是VonNeumann
結(jié)構(gòu)計算機(jī)的重要組成部分之一。◆衡量指標(biāo)
I/O設(shè)備
I/O設(shè)備與處理機(jī)的連接第六章輸入/輸出系統(tǒng)
響應(yīng)時間(ResponseTime)
可靠性(Reliability)6.1.1I/O系統(tǒng)性能與CPU性能誤區(qū):使用多進(jìn)程技術(shù)可以忽略I/O性能對系統(tǒng)性
能的影響?!舳噙M(jìn)程技術(shù)只能夠提高系統(tǒng)吞吐率,并不能
夠減少系統(tǒng)響應(yīng)時間。◆進(jìn)程切換時可能需要增加I/O操作。6.1引言◆可切換的進(jìn)程數(shù)量有限,當(dāng)I/O處理較慢時, 仍然會導(dǎo)致CPU處于空閑狀態(tài)。6.1引言
例6.1假設(shè)一臺計算機(jī)的I/O處理占10%,當(dāng)其CPU性能改進(jìn),而I/O性能保持不變時,系統(tǒng)總體性能會出現(xiàn)什么變化?
解:假設(shè)原來的程序執(zhí)行時間為1個單位時間。如果CPU的性能提高10倍,程序的計算(包含I/O處理)時間為:
(1-10%)/10+10%=0.19如果CPU的性能提高10倍如果CPU的性能提高100倍6.1引言即整機(jī)性能只能提高約5倍,差不多有50%的CPU性能浪費(fèi)在I/O上。如果CPU性能提高100倍,程序的計算時間為:
(1-10%)/100+10%=0.109而整機(jī)性能只能提高約10倍,表示有90%的性能浪費(fèi)在沒有改進(jìn)的I/O上了。6.1引言6.1.2I/O系統(tǒng)的可靠性◆處理器性能已經(jīng)很高,人們更加關(guān)注系統(tǒng) 可靠性?!艨尚判允谴鎯Φ幕A(chǔ)可靠性可用性可信性6.1引言6.2外部存儲設(shè)備
1.各種外部存儲器的相似之處◆記錄原理類似;◆作為計算機(jī)部件,均包括驅(qū)動機(jī)構(gòu);◆作為存儲設(shè)備,均包括控制器及接口邏輯;◆均采用了自同步技術(shù)、定位和校正技術(shù)以及相 似的讀寫系統(tǒng)。2.目前常用的存儲設(shè)備主要有磁盤、磁帶、光盤等第六章輸入/輸出系統(tǒng)6.2.1磁盤設(shè)備1.磁盤占據(jù)著非揮發(fā)性存儲器的主宰地位◆它是存儲層次中主存的下一級存儲層次,是 虛擬存儲器技術(shù)的物質(zhì)基礎(chǔ);◆它是操作系統(tǒng)和所有應(yīng)用程序的駐留介質(zhì)。2.分類◆軟盤◆硬盤(主要介紹)6.2外部存儲設(shè)備3.磁盤的結(jié)構(gòu)組成
磁盤的盤片、磁道和扇區(qū)◆盤片盤片的數(shù)量:1~12片轉(zhuǎn)速:3600~15000轉(zhuǎn)盤徑:1.0英寸(25.4厘米)~3.5英寸(8.9厘米)◆磁道和柱面:每面5000~30000道◆扇區(qū):每道100~500個6.2外部存儲設(shè)備盤片磁道扇間空隙扇區(qū)6.2外部存儲設(shè)備4.磁盤的性能(1)訪問時間
磁盤的工作過程:磁頭首先移動到目標(biāo)磁道上使期望的扇區(qū)旋轉(zhuǎn)到磁頭下讀取扇區(qū)中的數(shù)據(jù)工作均在磁盤控制器的控制下完成磁盤訪問時間=尋道時間+旋轉(zhuǎn)時間+傳輸時間+控制器開銷6.2外部存儲設(shè)備(2)磁盤容量磁盤容量與盤片數(shù)量和單碟容量有關(guān)。
◆受工業(yè)標(biāo)準(zhǔn)的限制,硬盤中能安裝的盤片數(shù) 目有限:3~4片
◆提高單碟容量的途徑有兩個:提高道密度和提高位密度目前的單碟容量幾乎都在20GB以上,主流3.5英寸硬盤的單碟容量已經(jīng)達(dá)到了80GB。6.2外部存儲設(shè)備(3)數(shù)據(jù)傳輸率◆數(shù)據(jù)訪問過程從盤面上讀出的數(shù)據(jù)首先要送到磁盤緩沖存儲器,再從緩沖存儲器經(jīng)過接口送到主機(jī)。◆外部傳輸率突發(fā)數(shù)據(jù)傳輸率計算機(jī)通過磁盤接口從硬盤的緩存中將數(shù)
據(jù)讀出,交給相應(yīng)的控制器的速度。外部數(shù)據(jù)傳輸率和磁盤的接口有關(guān)6.2外部存儲設(shè)備◆內(nèi)部傳輸率硬盤持續(xù)傳輸率硬盤將數(shù)據(jù)從盤片上讀取出,交給硬盤上的緩沖存儲器的速度;內(nèi)部傳輸率等于磁頭相對磁盤的線速度與磁 盤位密度之積?!籼岣邇?nèi)部傳輸率提高轉(zhuǎn)速提高記錄密度:局部響應(yīng)最大似然PRML技術(shù)6.2外部存儲設(shè)備(4)磁盤Cache◆可以彌補(bǔ)磁盤和主存之間的速度差距◆利用被訪問數(shù)據(jù)的局部性原理時間局部性空間局部性◆磁盤Cache的管理和實現(xiàn)一般由硬件和軟件共同完成6.2外部存儲設(shè)備◆磁盤容量的提高通常用面密度來衡量
面密度為單位面積可以記錄的數(shù)據(jù)位數(shù)
面密度=磁盤面的道密度×磁道的位密度◆容量不斷提升,每位價格不斷下降。5.磁盤的發(fā)展6.2外部存儲設(shè)備圖6.1磁盤價格的變化6.2外部存儲設(shè)備◆
“訪問時間差距”問題
磁盤的性能價格比高于主存,但訪問速度卻要低得多,換句話說,性能價格比與速度要求差距太大。6.2外部存儲設(shè)備圖6.2磁盤和半導(dǎo)體存儲器之間的訪問時間差距6.2外部存儲設(shè)備6.2.2Flash存儲器◆工作原理同E2PROM,容量比E2PROM大。◆與磁盤相比的主要特點:功耗?。ā?0mw)
尺寸小提供與DRAM相仿的訪問速度價格高◆Flash存儲器的組織與其存儲位元有關(guān)6.2外部存儲設(shè)備6.2.3磁帶設(shè)備
磁盤和磁帶在性能價格比上的差異主要取決于它們的機(jī)械構(gòu)成?!舸疟P盤片具有有限的存儲面積,并且存儲介 質(zhì)被封裝在每個讀部件內(nèi),提供ms級的隨機(jī) 訪問;◆磁帶繞在可轉(zhuǎn)動軸上,一個讀部件可以使用 多盤磁帶(沒有長度限制),但磁帶需要順序 訪問,每次訪問都可能需要較長的反繞、6.2外部存儲設(shè)備退出和加載時間,等待時間較長(數(shù)秒)。1.磁帶◆優(yōu)點:容量大、技術(shù)成熟、單位價格低◆缺點:訪問時間較長◆用途:磁帶成為磁盤的備份技術(shù)◆發(fā)展采用數(shù)據(jù)壓縮技術(shù),提高記錄密度和數(shù)據(jù)傳輸率;6.2外部存儲設(shè)備采用螺旋掃描技術(shù),提高性能價格比和可靠性;采用自動管理磁帶的大容量磁帶庫。2.螺旋掃描技術(shù)◆螺旋掃描磁帶(HelicalScanTapes)1963
年被索尼(SONY)公司首次使用◆主要特點磁帶運(yùn)動方向與磁記錄方向成一定角度;磁鼓高速旋轉(zhuǎn),其它部件低速運(yùn)轉(zhuǎn);具有較高的記錄密度和數(shù)據(jù)傳輸率;6.2外部存儲設(shè)備可以解決磁帶線速度不穩(wěn)定,抖動和易磨損等問題。3.自動磁帶庫◆通過機(jī)械手自動地安裝和更換磁帶,相當(dāng)于又提供了一個新的存儲器層次?!魞?yōu)點:自動換帶,加載速度快;單位數(shù)據(jù)的價格低;通過加大規(guī)模,進(jìn)一步降低成本?!羧秉c:帶寬較低;可靠性差。6.2外部存儲設(shè)備6.2.4光盤設(shè)備◆使用激光作為讀出數(shù)據(jù)手段的設(shè)備,無論使用磁記錄介質(zhì)還是使用光記錄介質(zhì)?!舴诸悾?/p>
只讀光盤(如CD-ROM、DVD-ROM等)
可寫光盤(如CD-R、MO等)一次性寫光盤CD-R或WORM可多次寫光盤CD-RW或稱為WMRM6.2外部存儲設(shè)備1.光盤塔◆光盤塔實際上是多個CD-ROM放在一起,再加上相應(yīng)的控制器和網(wǎng)絡(luò)連接設(shè)備,構(gòu)成一個網(wǎng)絡(luò)存儲設(shè)備。
◆許多光盤機(jī)通過標(biāo)準(zhǔn)接口(如SCSI)電纜連 接起來,一根典型的SCSI接口電纜可以連 接7臺光盤機(jī),用軟件控制讀寫其中某一臺◆優(yōu)點:結(jié)構(gòu)簡單、造價低;讀取光盤速度快?!羧秉c:容量較?。皇謩訐Q盤。6.2外部存儲設(shè)備2.光盤庫◆光盤庫是一種能自動把機(jī)框中存放的許多片光盤選出并裝入光盤機(jī)進(jìn)行讀寫的設(shè)備?!魞?yōu)點:存儲量大,光盤自動更換?!羧秉c:機(jī)械結(jié)構(gòu)比較復(fù)雜,裝卸光盤較慢。 只能同時支持幾張光盤的在線訪問。6.2外部存儲設(shè)備3.光盤陣列◆陣列技術(shù):將數(shù)據(jù)分布到多個光盤機(jī)中,并對數(shù)據(jù)的冗余信息加以存儲。◆光盤陣列技術(shù)需要考慮一些特殊的問題光盤具有盤片可換的問題陣列管理軟件的設(shè)計問題實現(xiàn)光盤陣列快速響應(yīng)的關(guān)鍵技術(shù)之一
較大的緩存和優(yōu)化的調(diào)度策略6.2外部存儲設(shè)備6.3可靠性、可用性和可信性◆反映存儲外設(shè)可靠性能的參數(shù)可靠性(Reliability)
可用性(Availability)
可信性(Dependability)◆與可靠性相關(guān)的三個術(shù)語故障(fault)
錯誤(error)
失效(failure)第六章輸入/輸出系統(tǒng)1.故障、錯誤和失效之間的關(guān)系(1)一個故障可能會導(dǎo)致一個或者多個錯誤;(2)錯誤通常具有以下特性◆錯誤在潛在狀態(tài)和有效狀態(tài)間相互轉(zhuǎn)換;◆潛在的錯誤可能通過激活而有效;◆有效錯誤的影響可以傳遞,引起新的錯誤。(3)如果錯誤影響到部件正常的服務(wù)時,部件就發(fā)生了失效;(4)系統(tǒng)中的所有部件的故障、錯誤和失效均存在這樣的關(guān)系。6.3可靠性、可用性和可信性2.故障的分類(1)按故障產(chǎn)生的原因分◆硬件故障:設(shè)備失效產(chǎn)生的故障◆設(shè)計故障◆操作故障:由于用戶操作的失誤引起的故障◆環(huán)境故障(2)按故障出現(xiàn)的周期分◆暫時性故障◆間歇性故障◆永久性故障6.3可靠性、可用性和可信性3.系統(tǒng)可靠性◆系統(tǒng)從初始狀態(tài)開始一直提供服務(wù)的能力◆用平均無故障時間MTTF來衡量4.系統(tǒng)可用性◆系統(tǒng)正常工作時間在連續(xù)兩次正常服務(wù)間隔時 間中所占的比率◆用MTTF/MTBF(平均失效間隔時間)來衡量5.系統(tǒng)可信性◆多大程度上可以合理地認(rèn)為服務(wù)是可靠的◆可信性不可度量6.3可靠性、可用性和可信性例6.2假設(shè)磁盤子系統(tǒng)的組成部件和它們的MTTF如下:(1)磁盤子系統(tǒng)由10個磁盤構(gòu)成,每個磁盤的MTTF為1000000小時;(2)1個SCSI控制器,其MTTF為500000小時;(3)1個不間斷電源,其MTTF為200000小時;(4)1個風(fēng)扇,其MTTF為200000小時;(5)1根SCSI連線,其MTTF為1000000小時;6.3可靠性、可用性和可信性假定每個部件的正常工作時間服從指數(shù)分布,即部件的工作時間與故障出現(xiàn)的概率無關(guān);同時假定各部件的故障相互獨立,試計算整個系統(tǒng)的MTTF。解:整個系統(tǒng)的失效率為:100000023100000012000001200000150000011000000110=++++×=系統(tǒng)失效率6.3可靠性、可用性和可信性系統(tǒng)的MTTF為系統(tǒng)失效率的倒數(shù),即:小時=43500231000000MTTF=大約為5年。6.3可靠性、可用性和可信性6.提高系統(tǒng)可靠性的方法◆有效構(gòu)建方法◆糾錯方法
具體的說,可分為:故障避免技術(shù)故障容忍技術(shù)錯誤消除技術(shù)錯誤預(yù)報技術(shù)6.3可靠性、可用性和可信性6.4廉價磁盤冗余陣列RAID
◆廉價磁盤冗余陣列
RedundantArrayofInexpensiveDisks◆獨立磁盤冗余陣列
RedundantArrayofIndependentDisks◆簡稱盤陣列技術(shù) 1988年,Patterson教授首先提出。 ◆優(yōu)點容量大、速度快、可靠性高、造價低廉第六章輸入/輸出系統(tǒng)1.各級RAID的結(jié)構(gòu)特點RAID級數(shù)據(jù)磁盤數(shù)可正常工作的最多失效盤數(shù)檢測磁盤數(shù)0非冗余8001鏡像8182存儲器式ECC8143位交叉奇偶校驗8114塊交叉奇偶校驗8115塊交叉分布奇偶校驗8116P+Q冗余8227Cache+異步8222.各級RAID的共性◆
RAID由一組物理磁盤驅(qū)動器組成,操作系統(tǒng)視之為一個邏輯驅(qū)動器;◆數(shù)據(jù)分布在一組物理磁盤上;◆冗余信息被存儲在冗余磁盤空間中,保證磁 盤在萬一損壞時可以恢復(fù)數(shù)據(jù);◆其中第2、3個特性在不同的RAID級別中的表 現(xiàn)不同,RAID0不支持第3個特性。6.4廉價磁盤冗余陣列RAID
3.有關(guān)RAID的幾個問題(1)關(guān)鍵問題:如何發(fā)現(xiàn)磁盤的失效
磁盤技術(shù)提供了故障檢測操作的信息。(2)設(shè)計的另一個問題
如何減少平均修復(fù)時間MTTR
典型的做法:在系統(tǒng)中增加熱備份盤
(3)熱切換技術(shù)與熱備份盤相關(guān)的一種技術(shù)6.4廉價磁盤冗余陣列RAID
6.4.1RAID0◆數(shù)據(jù)分塊,即把數(shù)據(jù)分布在多個盤上?!舴侨哂嚓嚵?、無冗余信息。◆嚴(yán)格地說,它不屬于RAID系列。MNOetc...IJKLEFGHABCD6.4廉價磁盤冗余陣列RAID
陣列管理條帶0條帶1條帶1條帶2條帶3條帶4條帶5條帶6條帶7條帶8條帶9條帶10條帶11條帶0條帶2條帶3條帶4條帶5條帶6條帶7條帶8條帶9條帶10條帶11邏輯盤物理盤0物理盤1物理盤2物理盤3◆
RAID0中的數(shù)據(jù)映射6.4.2RAID1
亦稱鏡像盤,使用雙備份磁盤。每當(dāng)數(shù)據(jù)寫入一個磁盤時,將該數(shù)據(jù)也寫到另一個冗余盤,形成信息的兩份復(fù)制品。GGHHEEFFCCDDAABB==6.4廉價磁盤冗余陣列RAID
1.RAID1的特點◆讀性能好
RAID1的性能能夠達(dá)到RAID0性能的兩倍?!魧懶阅苡蓪懶阅茏畈畹拇疟P決定。相對以后 各級RAID來說,RAID1的寫速度較快?!艨煽啃院芨摺糇畎嘿F的解決方法,物理磁盤空間是邏輯磁 盤空間的兩倍。6.4廉價磁盤冗余陣列RAID
2.RAID1中的鏡像和分塊如何相互作用?◆
RAID0+1
先分塊后鏡像MNOetc...IJKLEFGHABCDMNOetc...IJKLEFGHABCD6.4廉價磁盤冗余陣列RAID
◆
RAID1+0
先鏡像后分塊NJFBOKGCetc...LHDMIEANJFBOKGCetc...LHDMIEA6.4廉價磁盤冗余陣列RAID
6.4.3RAID21.位交叉式海明編碼陣列2.各個數(shù)據(jù)盤上的相應(yīng)位計算海明校驗碼,編碼位被存放在多個校驗(Ecc)磁盤的對應(yīng)位上。D0D1D2D3C0C1C2C3B0B1B2B3A0A1A2A3Ecc/AxEcc/BxEcc/CxEcc/DxEcc/AyEcc/ByEcc/CyEcc/DyEcc/AzEcc/BzEcc/CzEcc/Dz6.4廉價磁盤冗余陣列RAID
3.RAID2特點◆并行存取,各個驅(qū)動器同步工作。◆使用海明編碼來進(jìn)行錯誤檢測和糾正,數(shù)據(jù) 傳輸率高?!粜枰鄠€磁盤來存放海明校驗碼信息,冗余 磁盤數(shù)量與數(shù)據(jù)磁盤數(shù)量的對數(shù)成正比。◆是一種在多磁盤易出錯環(huán)境中的有效選擇。 并未被廣泛應(yīng)用,目前還沒有商業(yè)化產(chǎn)品。6.4廉價磁盤冗余陣列RAID
6.4.4RAID31.位交叉奇偶校驗盤陣列2.單盤容錯并行傳輸:數(shù)據(jù)以位或字節(jié)交叉存儲,奇偶校驗信息存儲在一臺專用盤上。D0D1D2D3C0C1C2C3B0B1B2B3A0A1A2A3A校驗碼B校驗碼C校驗碼D校驗碼校驗碼產(chǎn)生器位或字節(jié)6.4廉價磁盤冗余陣列RAID
3.RAID3特點◆將磁盤分組,讀寫要訪問組中所有盤,每 組中有一個盤作為校驗盤?!粜r灡P一般采用奇偶校驗?!艉唵卫斫猓合葘⒎植荚诟鱾€數(shù)據(jù)盤上的一 組數(shù)據(jù)加起來,將和存放在冗余盤上。一 旦某一個盤出錯,只要將冗余盤上的和減 去所有正確盤上的數(shù)據(jù),得到的差就是出 錯的盤上的數(shù)據(jù)?!羧秉c:恢復(fù)時間較長。6.4廉價磁盤冗余陣列RAID
4.RAID3讀寫特點假定:有4個數(shù)據(jù)盤和一個冗余盤◆讀出數(shù)據(jù),一共需要5次磁盤讀操作;◆寫數(shù)據(jù)需要3次磁盤讀和2次磁盤寫操作。D0'D0D1D2D3PD1D2D3P'D0'讀操作讀操作讀操作寫操作寫操作異或6.4廉價磁盤冗余陣列RAID
6.4.5RAID41.專用奇偶校驗獨立存取盤陣列2.數(shù)據(jù)以塊(塊大小可變)交叉的方式存于各盤,奇偶校驗信息存在一臺專用盤上。D0D1D2D3C0C1C2C3B0B1B2B3A0A1A2A3A校驗碼B校驗碼C校驗碼D校驗碼校驗碼產(chǎn)生器數(shù)據(jù)塊6.4廉價磁盤冗余陣列RAID
3.RAID4特點◆冗余代價與RAID3相同◆訪問數(shù)據(jù)的方法與RAID3不同
在RAID3中,一次磁盤訪問將對磁盤陣列 中的所有磁盤進(jìn)行操作。
RAID4出現(xiàn)的原因:希望使用較少的磁盤參與操作,以使磁盤陣列可以并行進(jìn)行多個數(shù)據(jù)的磁盤操作。6.4廉價磁盤冗余陣列RAID
4.RAID4讀寫特點假定:有4個數(shù)據(jù)盤和一個冗余盤◆讀出數(shù)據(jù),對兩個磁盤的兩次讀操作;◆寫數(shù)據(jù)需要2次磁盤讀和2次磁盤寫操作。D0'D0D1D2D3PD1D2D3P'D0'讀操作讀操作寫操作寫操作異或異或6.4廉價磁盤冗余陣列RAID
6.4.6RAID51.塊交叉分布式奇偶校驗盤陣列2.數(shù)據(jù)以塊交叉的方式存于各盤,無專用冗余盤,奇偶校驗信息均勻分布在所有磁盤上。6.4廉價磁盤冗余陣列RAID
C4D44校驗碼E4A3C3D3A2B2D2A1B1C1A0B0C0D00校驗碼1校驗碼2校驗碼3校驗碼校驗碼產(chǎn)生器E1E2E3B46.4廉價磁盤冗余陣列RAID
3.RAID4和RAID5中的信息分布6.4廉價磁盤冗余陣列RAID
6.4.7RAID61.雙維奇偶校驗獨立存取盤陣列2.數(shù)據(jù)以塊(塊大小可變)交叉方式存于各盤,檢、糾錯信息均勻分布在所有磁盤上。
C2D3D校驗碼C1D2A2D1A1B1A0B0C00校驗碼1校驗碼B校驗碼3校驗碼校驗碼產(chǎn)生器B22校驗碼C校驗碼A校驗碼6.4廉價磁盤冗余陣列RAID
3.RAID6特點◆寫入數(shù)據(jù)要訪問1個數(shù)據(jù)盤和2個冗余盤;◆可容忍雙盤出錯;◆存儲開銷是RAID5的兩倍,RAID6的寫過 程需要6次磁盤操作。6.4廉價磁盤冗余陣列RAID
6.4.8RAID7◆采用Cache和異步技術(shù)的RAID6◆較高的響應(yīng)速度和傳輸速率C0B0B1A0A1A2實時操作系統(tǒng)A校驗碼B校驗碼C校驗碼B2C1C26.4廉價磁盤冗余陣列RAID
6.4.9RAID的實現(xiàn)與發(fā)展1.實現(xiàn)盤陣列的方式主要有三種◆軟件方式:陣列管理軟件由主機(jī)來實現(xiàn) 優(yōu)點:成本低 缺點:過多地占用主機(jī)時間,并且?guī)捴?標(biāo)上不去?!絷嚵锌ǚ绞剑喊裄AID管理軟件固化在I/O控制 卡上,從而可不占用主機(jī)時間,一般用于工作 站和PC機(jī)。6.4廉價磁盤冗余陣列RAID
◆子系統(tǒng)方式:這是一種基于通用接口總線 的開放式平臺,可用于各種主機(jī)平臺和網(wǎng) 絡(luò)系統(tǒng)。2.盤陣列技術(shù)研究的主要熱點問題◆新型陣列體系結(jié)構(gòu);◆
RAID結(jié)構(gòu)與其所記錄文件特性的關(guān)系;◆在RAID冗余設(shè)計中,綜合平衡性能、可靠性和開銷的問題;◆超大型盤陣列在物理上如何構(gòu)造和連結(jié)的問題。6.4廉價磁盤冗余陣列RAID
6.5I/O設(shè)備與CPU和存儲器的連接
1.通過接口將許多子系統(tǒng)連接起來2.接口使用得最多的就是總線3.輸入輸出方式◆直接傳送◆程序查詢◆中斷◆
DMA◆通道第六章輸入/輸出系統(tǒng)6.5.1總線優(yōu)點:低成本、多樣性缺點:必須獨占使用,造成了設(shè)備信息交換的瓶頸,從而限制了系統(tǒng)中總的I/O吞吐量。1.總線的設(shè)計6.5I/O設(shè)備與CPU和存儲器的連接
選擇高性能低價格總線寬度獨立的地址和數(shù)據(jù)總線分時復(fù)用數(shù)據(jù)和地址總線數(shù)據(jù)總線寬度越寬越快(例如:64位)越窄越便宜(例如:8位)傳輸塊大小塊越大總線開銷越小每次傳送單字總線主設(shè)備多個(需要仲裁)單個(無需仲裁)分離事務(wù)采用不用定時方式同步異步6.5I/O設(shè)備與CPU和存儲器的連接
(1)
分離事務(wù)總線在有多個主設(shè)備時,總線通過數(shù)據(jù)打包來提高總線帶寬,而不必在整個傳輸過程中都占有總線。地址地址1地址2地址3數(shù)據(jù)數(shù)據(jù)0數(shù)據(jù)1等待等待1完成1
6.5I/O設(shè)備與CPU和存儲器的連接
(2)同步總線同步總線上所有設(shè)備通過統(tǒng)一的總線系統(tǒng)時鐘進(jìn)行同步。
優(yōu)點:成本低,因為它不需要設(shè)備之間互相確定時序的邏輯。
缺點:總線操作必須以相同的速度運(yùn)行。(3)異步總線異步總線上的設(shè)備之間沒有統(tǒng)一的系統(tǒng)時鐘,設(shè)備自己內(nèi)部定時。6.5I/O設(shè)備與CPU和/存儲器的連接
2.總線標(biāo)準(zhǔn)和實例幾種常用并行I/O總線IDE/UltraATASCSIPCIPCI-X數(shù)據(jù)寬度16bit8/16bit32/64bit32/64bit時鐘頻率MHz10010(Fast)20(Ultra)40(Ultra2)80(Ultra3)160(Ultra4)33/6666/100/133主設(shè)備數(shù)量一個多個多個多個峰值帶寬200MB/s320MB/s533MB/s1066MB/s同步方式異步異步同步同步標(biāo)準(zhǔn)無ANSIX3.131無無幾種常用串行I/O總線I2C1-wireRS-232SPI數(shù)據(jù)寬度(bit)1121信號線數(shù)量219/253時鐘頻率(MHz)0.4~10異步0.04或異步異步總線主設(shè)備數(shù)量多個多個多個多個峰值帶寬(Mb/s)0.4~3.40.0140.1921同步方式異步異步異步異步標(biāo)準(zhǔn)無無EIA,ITU-TV.21無6.5I/O設(shè)備與CPU和存儲器的連接
幾種CPU-存儲器互連系統(tǒng)HPHyperPlaneCrossbarIBMSPSUNGigaplane-XB數(shù)據(jù)寬度(bit)64128128時鐘頻率(MHz)12011183.3總線的主設(shè)備數(shù)多個多個多個每端口峰值帶寬(MB/s)96017001300總峰值帶寬(MB/s)76801420010667同步方式同步同步同步標(biāo)準(zhǔn)無無無6.5I/O設(shè)備與CPU和存儲器的連接
6.5.2設(shè)備的連接1.典型的總線連接CPUCache主存I/O控制器圖形顯示I/O控制器I/O控制器總線適配器網(wǎng)絡(luò)CPU-主存總線I/O總線6.5I/O設(shè)備與CPU和存儲器的連接
2.CPU尋址I/O設(shè)備的方式◆存儲器映射I/O或統(tǒng)一編址◆
I/O設(shè)備單獨編址無論選擇哪一種編址方法,每個I/O設(shè)備都提供狀態(tài)寄存器和控制寄存器。3.設(shè)備的連接和工作方式直接傳送、程序查詢、中斷、DMA、I/O處理機(jī)6.5I/O設(shè)備與CPU和存儲器的連接
4.程序控制、中斷和DMA方式管理外圍設(shè)備會引起兩個問題:◆所有外圍設(shè)備的I/O工作全部都要由CPU來 承擔(dān),CPU的I/O負(fù)擔(dān)很重,不能專心于用 戶程序的計算?!舸笮陀嬎銠C(jī)系統(tǒng)中的外圍設(shè)備臺數(shù)雖然很 多,但是一般并不同時工作。
解決上述問題的方法:采用通道處理機(jī)6.5I/O設(shè)備與CPU和存儲器的連接
6.5.3通道通道處理機(jī)能夠負(fù)擔(dān)外圍設(shè)備的大部分I/O工作。通道處理機(jī):能夠執(zhí)行有限I/O指令,并且能夠被多臺外圍設(shè)備共享的小型DMA專用處理機(jī)。1.通道的功能6.5I/O設(shè)備與CPU和存儲器的連接
(1)接受CPU發(fā)來的I/O指令,根據(jù)指令要求選擇一臺指定的外圍設(shè)備與通道相連接。(2)執(zhí)行CPU為通道組織的通道程序,從主存中取出通道指令,對通道指令進(jìn)行譯碼,并根據(jù)需要向被選中的設(shè)備控制器發(fā)出各種操作命令。(3)給出外圍設(shè)備的有關(guān)地址,即進(jìn)行讀/寫操作的數(shù)據(jù)所在的位置。
如磁盤存儲器的柱面號、磁頭號、扇區(qū)號等。6.5I/O設(shè)備與CPU和存儲器的連接
(4)給出主存緩沖區(qū)的首地址,這個緩沖區(qū)用來暫時存放從外圍設(shè)備上輸入的數(shù)據(jù),或者暫時存放將要輸出到外圍設(shè)備中去的數(shù)據(jù)。(5)控制外圍設(shè)備與主存緩沖區(qū)之間數(shù)據(jù)交換的個數(shù),對交換的數(shù)據(jù)個數(shù)進(jìn)行計數(shù),并判斷數(shù)據(jù)傳送工作是否結(jié)束。(6)指定傳送工作結(jié)束時要進(jìn)行的操作。(7)檢查外圍設(shè)備的工作狀態(tài),是正?;蚬收?。根據(jù)需要將設(shè)備的狀態(tài)信息送往主存指定單元保存。6.5I/O設(shè)備與CPU和存儲器的連接
(8)在數(shù)據(jù)傳輸過程中完成必要的格式變換。
例如把字拆卸為字節(jié),或者把字節(jié)裝配成字2.通道的主要硬件
(1)寄存器部分?jǐn)?shù)據(jù)緩沖寄存器主存地址計數(shù)器傳輸字節(jié)數(shù)計數(shù)器通道命令字寄存器通道狀態(tài)字寄存器6.5I/O設(shè)備與CPU和存儲器的連接
(2)控制部分
分時控制地址分配數(shù)據(jù)傳送數(shù)據(jù)裝配拆卸3.通道對外圍設(shè)備的控制通過I/O接口和設(shè)備控制器進(jìn)行
通道與設(shè)備控制器之間一般采用標(biāo)準(zhǔn)的I/O
接口來連接。6.5I/O設(shè)備與CPU和存儲器的連接
4.
工作過程
(1)在用戶程序中使用訪管指令進(jìn)入管理程序,由CPU通過管理程序組織一個通道程序,并啟動通道。(2)通道處理機(jī)執(zhí)行CPU為它組織的通道程序,完成指定的數(shù)據(jù)I/O工作。通道處理機(jī)執(zhí)行通道程序是與CPU執(zhí)行用戶程序并行的。(3)通道程序結(jié)束后向CPU發(fā)中斷請求。CPU響應(yīng)這個中斷請求后,第二次進(jìn)入操作系統(tǒng),調(diào)用管理程序?qū)/O中斷請求進(jìn)行處理。6.5I/O設(shè)備與CPU和存儲器的連接
5.
通道程序、管理程序和用戶程序的執(zhí)行時間關(guān)系6.5I/O設(shè)備與CPU和存儲器的連接
6.通道種類
◆
通道分為三種類型
◆
三種類型的通道與CPU、設(shè)備控制器和外圍設(shè)備
的連接關(guān)系
字節(jié)多路通道選擇通道數(shù)組多路通道
6.5I/O設(shè)備與CPU和存儲器的連接
(1)字節(jié)多路通道
◆為多臺低速或中速的外圍設(shè)備服務(wù);
◆采用分時方式工作,依靠它與CPU之間的高 速數(shù)據(jù)通路分時為多臺設(shè)備服務(wù)。(2)選擇通道◆為多臺高速外圍設(shè)備服務(wù);◆傳送數(shù)據(jù)期間,通道只能為一臺高速外圍設(shè) 備服務(wù),在不同時間內(nèi)可以選擇不同設(shè)備。6.5I/O設(shè)備與CPU和存儲器的連接
(3)數(shù)組多路通道 ◆數(shù)組多路通道適于為高速設(shè)備服務(wù); ◆每次選擇一個高速設(shè)備后傳送一個數(shù)據(jù)塊, 并輪流為多臺外圍設(shè)備服務(wù);◆數(shù)組多路通道之所以能夠并行地為多個高 速外圍設(shè)備服務(wù),是因為這些高速外圍設(shè) 備并不能在整個數(shù)據(jù)輸入輸出時間內(nèi)單獨利用通道的全部傳輸能力。6.5I/O設(shè)備與CPU和存儲器的連接
7.通道中的數(shù)據(jù)傳送過程
(1)
字節(jié)多路通道的數(shù)據(jù)傳送過程
通道每連接一個外圍設(shè)備,只傳送一個字節(jié),然后又與另一臺設(shè)備連接,并傳送一個字節(jié)。(2)
數(shù)組多路通道的數(shù)據(jù)傳送過程每連接一臺高速設(shè)備,傳送一個數(shù)據(jù)塊,傳送完成后,又與另一臺高速設(shè)備連接,再傳送一個數(shù)據(jù)塊。6.5I/O設(shè)備與CPU和存儲器的連接
(3)選擇通道的工作過程每連接一個外圍設(shè)備,就把這個設(shè)備的
n個字節(jié)全部傳送完成,然后再與另一臺設(shè)備相連接。8.通道中數(shù)據(jù)的傳送過程與流量分析
動畫演示
6.5I/O設(shè)備與CPU和存儲器的連接
(1)通道流量一個通道在數(shù)據(jù)傳送期間,單位時間內(nèi)能夠傳送的最大數(shù)據(jù)量,一般用字節(jié)個數(shù)來表示。又稱為通道吞吐率,通道數(shù)據(jù)傳輸率等。(2)通道最大流量一個通道在滿負(fù)荷工作狀態(tài)下的流量。(3)流量計算公式6.5I/O設(shè)備與CPU和存儲器的連接
TS:設(shè)備選擇時間。
TD:傳送一個字節(jié)所用的時間。
p: 在一個通道上連接的設(shè)備臺數(shù),且這些設(shè)備同時都在工作。
n:每臺設(shè)備傳送的字節(jié)數(shù),這里假設(shè)每臺設(shè)備傳送的字節(jié)數(shù)都相同。
k:數(shù)組多路通道傳輸?shù)囊粋€數(shù)據(jù)塊中的包含的字節(jié)數(shù)。在一般情況下,k<n。對于磁盤、磁帶等磁表面存儲器,通常k=512。T:通道完成全部數(shù)據(jù)傳送工作所需時間。6.5I/O設(shè)備與CPU和存儲器的連接
◆流量計算公式
字節(jié)多路通道選擇通道數(shù)組多路通道6.5I/O設(shè)備與CPU和存儲器的連接
◆
最大流量字節(jié)多路通道
選擇通道數(shù)組多路通道6.5I/O設(shè)備與CPU和存儲器的連接
◆實際流量小于最大流量 字節(jié)多路通道 選擇通道 數(shù)組多路通道6.5I/O設(shè)備與CPU和存儲器的連接
6.6I/O系統(tǒng)性能分析
6.6.1I/O性能與系統(tǒng)響應(yīng)時間1.I/O系統(tǒng)的性能分析模型模擬和實際測量的方法來衡量?!魧/O系統(tǒng)建立模型后,可以使用排隊理論進(jìn) 行分析。◆設(shè)計出來的I/O系統(tǒng)還可以通過基準(zhǔn)測試程序 進(jìn)行實際測量。第六章輸入/輸出系統(tǒng)2.衡量I/O系統(tǒng)的性能的標(biāo)準(zhǔn)◆
I/O系統(tǒng)的多樣性:哪些I/O設(shè)備可以和計算 機(jī)系統(tǒng)相連接?!?/p>
I/O系統(tǒng)的容量:I/O系統(tǒng)可以容納多少I/O
設(shè)備?!?/p>
I/O吞吐量有時也被稱為I/O帶寬?!?/p>
I/O響應(yīng)時間有時被稱為響應(yīng)延遲。6.6I/O系統(tǒng)性能分析
3.一個簡單的生產(chǎn)服務(wù)模型生產(chǎn)者服務(wù)員隊列6.6I/O系統(tǒng)性能分析
4.吞吐量和響應(yīng)時間
0501001502002503000%20%40%60%80%100%實際吞吐量/最大吞吐量響應(yīng)時間(ms)6.6I/O系統(tǒng)性能分析
獲得較大吞吐率和較小響應(yīng)時間是相互矛盾的,如何進(jìn)行折衷是計算機(jī)體系結(jié)構(gòu)要研究的問題。
051015圖形系統(tǒng)(0.3s)圖形系統(tǒng)(1s)鍵盤系統(tǒng)(0.3s)鍵盤系統(tǒng)(1s)時間(s)進(jìn)入時間系統(tǒng)響應(yīng)時間思考時間
鍵盤輸入系統(tǒng)和圖形輸入系統(tǒng)的事務(wù)處理時間6.6I/O系統(tǒng)性能分析
計算機(jī)的一次事務(wù)處理的時間被分為三個部分:
進(jìn)入時間:用戶輸入命令的時間。
系統(tǒng)響應(yīng)時間:用戶輸入命令后到計算機(jī)的響應(yīng)結(jié)果被顯示出來的時間間隔。(3)思考時間:系統(tǒng)響應(yīng)后到用戶開始輸入下一條命令的時間間隔。研究表明:用戶的工作效率與事務(wù)處理時間成反比,可以用單位時間內(nèi)處理的事務(wù)數(shù)量來衡量工作效率。6.6I/O系統(tǒng)性能分析
6.6.2Little定律1.黑箱(BlackBox)黑箱到達(dá)任務(wù)離開任務(wù)穩(wěn)定狀態(tài):系統(tǒng)的輸入速率=輸出速率2.Little定律系統(tǒng)中的平均任務(wù)數(shù)=到達(dá)率×平均響應(yīng)時間6.6I/O系統(tǒng)性能分析
3.證明
假定對一個系統(tǒng)測量時間:Tobserve
統(tǒng)計在此期間:完成的任務(wù)數(shù):Ntasks
每個任務(wù)的實際完成時間將這些時間求和得到Taccumulated6.6I/O系統(tǒng)性能分析
Little定律:系統(tǒng)中的平均任務(wù)數(shù)為到達(dá)率與平 均響應(yīng)時間的乘積。observedaccumulateTT=平均任務(wù)數(shù)tasksdaccumulateNT=平均響應(yīng)時間observetasksTN=任務(wù)到達(dá)率observetaskstasksdaccumulateobservedaccumulateTNNTTT=6.6I/O系統(tǒng)性能分析
6.6.3M/M/1排隊系統(tǒng)1.簡單的排隊系統(tǒng)I/O控制器及外設(shè)隊列服務(wù)員任務(wù)到達(dá)假定I/O請求的到達(dá)時間和服務(wù)員的服務(wù)時間服從指數(shù)分布。6.6I/O系統(tǒng)性能分析
2.排隊系統(tǒng)參數(shù)
S:任務(wù)的平均服務(wù)時間:任務(wù)的服務(wù)速率,=1/SW:平均排隊延遲
R:平均響應(yīng)時間;R=S+W:任務(wù)的到達(dá)率:服務(wù)員利用率(服務(wù)強(qiáng)度),=/
ns:正在服務(wù)的平均任務(wù)數(shù)6.6I/O系統(tǒng)性能分析
nq:隊列的平均長度n:平均任務(wù)數(shù),n=ns+nq;n=×Rm:服務(wù)員個數(shù)3.M/M/1排隊系統(tǒng)的一般假設(shè)◆系統(tǒng)為一個平衡系統(tǒng);◆連續(xù)兩個到達(dá)請求的間隔時間服從指數(shù)分 布,其均值為平均到達(dá)時間;◆請求的個數(shù)不受限制;6.6I/O系統(tǒng)性能分析
◆隊列的長度不受限制,排隊規(guī)則為FIFO;◆系統(tǒng)只有一個服務(wù)員。4.若M/M/1模型的到達(dá)率為,服務(wù)率為,1個服務(wù)員。相關(guān)的分析結(jié)論有:◆系統(tǒng)服務(wù)強(qiáng)度=/◆系統(tǒng)中沒有任務(wù)的概率P0=1-◆系統(tǒng)中有n個任務(wù)的概率
Pn=(1-)*n,n=0,1,2,…,6.6I/O系統(tǒng)性能分析
◆系統(tǒng)中平均任務(wù)數(shù)量E(n)=/(1-)◆隊列中平均任務(wù)數(shù)E(nq)=2/(1-)◆系統(tǒng)平均響應(yīng)時間E(R)=(1/)/(1-)◆任務(wù)在隊列中的平均等待時間E(W)=r-mr1/16.6I/O系統(tǒng)性能分析
例6.3某處理器每秒發(fā)出40次磁盤I/O請求,這些請求服從指數(shù)分布。 ①假定磁盤完成這些請求的服務(wù)時間服從均值 為20ms的指數(shù)分布。試計算磁盤的平均利用 率、請求在隊列中的平均等待時間以及磁盤 請求的平均響應(yīng)時間。② 假定磁盤完成這些請求的服務(wù)時間服從均值 為10ms的指數(shù)分布,重新計算。6.6I/O系統(tǒng)性能分析
解①如果磁盤完成這些請求的服務(wù)時間服從均值為20ms的指數(shù)分布,則磁盤I/O請求的到達(dá)率=40(個/s)磁盤完成I/O請求的服務(wù)率=1/0.02=50(個/s)磁盤的平均利用率=/=40/50=0.8該系統(tǒng)可以用M/M/1排隊模型的結(jié)論,故:平均等待時間==-磁盤利用率磁盤利用率平均服務(wù)時間1)s(0808.018.002.0=-6.6I/O系統(tǒng)性能分析
平均響應(yīng)時間=平均等待時間+平均服務(wù)時間=0.08+0.02=0.1(s)即:有80%的響應(yīng)時間花費(fèi)在隊列中等待②如果磁盤完成這些請求的服務(wù)時間服從均值為
10ms的指數(shù)分布,磁盤I/O請求的到達(dá)率=40(個/s)完成I/O請求的服務(wù)率=1/0.01=100(個/s)磁盤的平均利用率=/=40/100=0.46.6I/O系統(tǒng)性能分析
平均等待時間==平均響應(yīng)時間=平均等待時間+平均服務(wù)時間=0.0067+0.01=0.0167(s)服務(wù)速率提高1倍,響應(yīng)時間減少5/6。-磁盤利用率磁盤利用率平均服務(wù)時間1)s(0067.04.014.002.0=-6.6I/O系統(tǒng)性能分析
5.若M/M/m模型將M/M/1模型的服務(wù)員修改為m個,相關(guān)的分析結(jié)論有:◆系統(tǒng)服務(wù)強(qiáng)度=/(m*)◆系統(tǒng)中沒有任務(wù)的概率
P0=◆系統(tǒng)中有n個任務(wù)的概率
Pn=11m1nnm]!n)m()1(!m)m(1[--=?r+r-r+?????íì3r<rmn,!mmPmn,!n)m(Pnm0n06.6I/O系統(tǒng)性能分析
◆隊列中有顧客的概率
Pe=◆系統(tǒng)中平均任務(wù)數(shù)量E(n)=m+Pe/(1-)◆隊列中平均任務(wù)數(shù)E(nq)=Pe/(1-)◆系統(tǒng)平均響應(yīng)時間
E(R)=
◆隊列中的平均等待時間E(W)=Pe/[m(1-)]
0mP)1(!m)m(r-r))1(mP1(1er-+m6.6I/O系統(tǒng)性能分析
例6.4在例6.3的基礎(chǔ)上,給磁盤I/O系統(tǒng)增加一個磁盤,該磁盤是另一個磁盤的鏡像,故訪問可以從任意一個磁盤上得到數(shù)據(jù)。假定對磁盤的I/O操作均為讀操作,重新計算。解使用兩個磁盤,該系統(tǒng)為M/M/2系統(tǒng)。磁盤I/O請求的到達(dá)率=40(個/s)
完成I/O請求的服務(wù)率=1/0.02=50(個/s)
磁盤的平均利用率
=(/)/2=0.4該系統(tǒng)可以用M/M/m排隊模型的結(jié)論:6.6I/O系統(tǒng)性能分析
系統(tǒng)中沒有任務(wù)的概率P0=395.0]8.0533.01[]!n)2()1(!2)2(1[1111nn2?++=r+r-r+-
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024-2030年中國室內(nèi)門行業(yè)發(fā)展現(xiàn)狀及前景趨勢分析報告
- 2024-2030年中國地波那非酮項目可行性研究報告
- 2024-2030年中國雙耳環(huán)行業(yè)發(fā)展?fàn)顩r規(guī)劃分析報告
- 眉山職業(yè)技術(shù)學(xué)院《系統(tǒng)仿真技術(shù)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2024年版風(fēng)力發(fā)電項目施工合同詳細(xì)條款
- 馬鞍山職業(yè)技術(shù)學(xué)院《納米科學(xué)技術(shù)導(dǎo)論》2023-2024學(xué)年第一學(xué)期期末試卷
- 呂梁學(xué)院《藥物化學(xué)(I)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2024年建筑行業(yè)工程承包協(xié)議更新版版B版
- 2021-2022學(xué)年云南省文山壯族苗族自治州高一上學(xué)期期中語文試題
- 洛陽商業(yè)職業(yè)學(xué)院《小學(xué)數(shù)學(xué)教學(xué)設(shè)計與技能訓(xùn)練》2023-2024學(xué)年第一學(xué)期期末試卷
- 2022年度尾礦庫安全風(fēng)險辨識及分級管控表
- 職業(yè)學(xué)院食品藥品監(jiān)督管理專業(yè)核心課《企業(yè)管理》課程標(biāo)準(zhǔn)
- 投標(biāo)項目進(jìn)度計劃
- 關(guān)于發(fā)展鄉(xiāng)村產(chǎn)業(yè)的建議
- 登泰山記-教學(xué)課件
- 2024版水電費(fèi)繳費(fèi)協(xié)議范本
- 北師大版四年級數(shù)學(xué)上冊第五單元《方向與位置》(大單元教學(xué)設(shè)計)
- 2024年西安交大少年班選拔考試語文試卷試題(含答案詳解)
- 2024年云南省昆明滇中新區(qū)公開招聘20人歷年重點基礎(chǔ)提升難、易點模擬試題(共500題)附帶答案詳解
- 2024年國開思政課《馬克思主義基本原理》大作業(yè)、形考及學(xué)習(xí)行為表現(xiàn)試題及答案請理論聯(lián)系實際談一談你對實踐的理解
- 2024屆浙江高考英語寫作分類訓(xùn)練:建議信(含答案)
評論
0/150
提交評論