《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目三-任務(wù)二 淺析云存儲(chǔ)基礎(chǔ)技術(shù)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)二淺談云存儲(chǔ)基礎(chǔ)技術(shù)文件系統(tǒng)的作用？硬盤(pán)接口的種類(lèi)？RAID存儲(chǔ)的類(lèi)型？典型的數(shù)據(jù)備份策略？回顧任務(wù)描述:本節(jié)任務(wù)闡述了存儲(chǔ)空間管理、數(shù)據(jù)使用及存儲(chǔ)、存儲(chǔ)高可用技術(shù)、數(shù)據(jù)備份和數(shù)據(jù)一致性處理問(wèn)題，同時(shí)，對(duì)云存儲(chǔ)基礎(chǔ)技術(shù)問(wèn)題進(jìn)行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲(chǔ)基礎(chǔ)技術(shù)任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長(zhǎng)，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢(shì)，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲(chǔ)空間管理數(shù)據(jù)使用及存儲(chǔ)存儲(chǔ)高可用技術(shù)一二三四五

數(shù)據(jù)備份數(shù)據(jù)一致性處理存儲(chǔ)空間管理知識(shí)點(diǎn)一（一）存儲(chǔ)空間管理存儲(chǔ)空間就是存儲(chǔ)的物理空間主要有卷、RAID技術(shù)及LUN3種。

（二）卷簡(jiǎn)單卷是物理磁盤(pán)的一部分，通過(guò)將卷擴(kuò)展到相同或不同磁盤(pán)上的未分配空間上，以增加現(xiàn)有簡(jiǎn)單卷的大小。跨區(qū)卷是一種和簡(jiǎn)單卷結(jié)構(gòu)相似的動(dòng)態(tài)卷，其將來(lái)自多個(gè)磁盤(pán)的未分配空間合并到一個(gè)邏輯卷中。帶區(qū)卷由兩塊或兩塊以上的硬盤(pán)組成，也是一種動(dòng)態(tài)卷。當(dāng)文件存到帶區(qū)卷時(shí)，系統(tǒng)會(huì)將數(shù)據(jù)分散存于各塊硬盤(pán)的空間。鏡像卷是具有容錯(cuò)能力的動(dòng)態(tài)卷。（三）RAID0（四）RAID1（五）RAID5（六）RAID10（七）RAID技術(shù)級(jí)別特征原理單元冗余性能利用率最多壞用途缺陷RAID0條帶分片分散存入2塊硬盤(pán)2否讀寫(xiě)速度2倍100%0/2SWAP/TMP不冗余，數(shù)據(jù)難恢復(fù)RAID1鏡像相同數(shù)據(jù)存入2塊硬盤(pán)2是寫(xiě)速度不變讀速度2倍50%1/2數(shù)據(jù)備份讀寫(xiě)速度沒(méi)加，利用率低RAID4校驗(yàn)分片分散存入2塊硬盤(pán)校驗(yàn)碼存入第3塊硬盤(pán)3是讀寫(xiě)速度2倍2/3=66%1/3用的很少1.壞盤(pán)時(shí)另外2塊需要重新計(jì)算還原壞盤(pán)數(shù)據(jù)2.校驗(yàn)碼盤(pán)壓力大成為瓶頸RAID5校驗(yàn)分片和校驗(yàn)碼混合存儲(chǔ)3是讀寫(xiě)速度2倍2/3=66%1/3用的不多壞盤(pán)時(shí)另外2塊需要重新計(jì)算還原壞盤(pán)數(shù)據(jù)RAID101+02塊硬盤(pán)1組先做RAID1多組RAID1再做RAID04是讀寫(xiě)速度N倍N為組數(shù)2/42/41∈2用的最多-數(shù)據(jù)使用及存儲(chǔ)知識(shí)點(diǎn)二（一）早期存儲(chǔ)設(shè)備——紙帶（二）早期存儲(chǔ)設(shè)備——卡片（三）早期存儲(chǔ)設(shè)備——磁鼓IBM650計(jì)算機(jī)上的16英寸長(zhǎng)磁鼓，有40個(gè)磁道，容量10KB，每分鐘12,500轉(zhuǎn)。（四）磁盤(pán)驅(qū)動(dòng)器（五）存儲(chǔ)角色的演變數(shù)據(jù)的增漲導(dǎo)致了以“計(jì)算”為中心到以“數(shù)據(jù)存儲(chǔ)”為中心的的觀念革新。存儲(chǔ)領(lǐng)域的兩個(gè)重要轉(zhuǎn)折點(diǎn)：并行存儲(chǔ)：比如磁盤(pán)陣列技術(shù)（RAID）。網(wǎng)絡(luò)存儲(chǔ)：NAS,SAN存儲(chǔ)高可用技術(shù)知識(shí)點(diǎn)三（一）存儲(chǔ)高可用技術(shù)在高可用技術(shù)中，根據(jù)不同的應(yīng)用環(huán)境，從性能、經(jīng)濟(jì)等方面考慮，主要有雙機(jī)熱備、雙機(jī)互備、集群并發(fā)存取3種。（二）雙機(jī)熱備份方式（三）雙機(jī)互備方式（四）群集并發(fā)存取方式（五）對(duì)存儲(chǔ)系統(tǒng)的要求雙機(jī)熱備份方式：系統(tǒng)運(yùn)行時(shí)，只有主服務(wù)器與存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)交換。當(dāng)發(fā)生主機(jī)故障切換時(shí)，要求存儲(chǔ)系統(tǒng)能與備份服務(wù)器快速建立數(shù)據(jù)通道，以支持業(yè)務(wù)的快速切換。雙機(jī)互備份方式：系統(tǒng)運(yùn)行時(shí)，兩臺(tái)主機(jī)需要同時(shí)對(duì)磁盤(pán)陣列進(jìn)行讀寫(xiě)操作，這要求存儲(chǔ)系統(tǒng)具備良好的并發(fā)讀取能力和一定的負(fù)載均衡功能。（五）對(duì)存儲(chǔ)系統(tǒng)的要求群集并發(fā)存取方式：并發(fā)處理能力數(shù)據(jù)共享能力大規(guī)模與可擴(kuò)展性可管理性高可用性（六）數(shù)據(jù)備份數(shù)據(jù)備份一般是指利用備份軟件把數(shù)據(jù)從磁盤(pán)備份到磁帶進(jìn)行離線保存（最新的備份技術(shù)也支持磁盤(pán)到磁盤(pán)的備份，也就是把磁盤(pán)作為備份數(shù)據(jù)的存放介質(zhì)，以加快數(shù)據(jù)的備份和恢復(fù)速度）。（六）數(shù)據(jù)備份數(shù)據(jù)備份在一定程度上是可以保證數(shù)據(jù)安全的，但應(yīng)用于容災(zāi)系統(tǒng)時(shí)卻面臨眾多問(wèn)題。備份窗口恢復(fù)時(shí)間備份間隔數(shù)據(jù)的可恢復(fù)性介質(zhì)的保管和運(yùn)送備份的成本數(shù)據(jù)備份知識(shí)點(diǎn)三（一）常規(guī)備份實(shí)現(xiàn)方式010302備份方式增量備份完全備份差量備份（二）增量備份只有那些在上次完全制定的備份策略自動(dòng)或手動(dòng)將數(shù)據(jù)備份到磁帶上。（三）差異備份備份那些從上次完全備份后被修改過(guò)的文件。數(shù)據(jù)一致性處理知識(shí)點(diǎn)四（一）數(shù)據(jù)一致性處理數(shù)據(jù)一致性是指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整?？梢岳斫鉃閼?yīng)用程序自己認(rèn)為的數(shù)據(jù)狀態(tài)與最終寫(xiě)入到磁盤(pán)中的數(shù)據(jù)狀態(tài)是否一致。數(shù)據(jù)一致性問(wèn)題文件共享中的數(shù)據(jù)一致性問(wèn)題時(shí)間不同步引起的數(shù)據(jù)一致性冋題Cache引起的數(shù)據(jù)一致性問(wèn)題任務(wù)小結(jié)云存儲(chǔ)基礎(chǔ)技術(shù)包括：存儲(chǔ)空間管理（卷、RAID技術(shù)、LUN技術(shù)）數(shù)據(jù)存儲(chǔ)技術(shù)存儲(chǔ)高可用技術(shù)數(shù)據(jù)備份數(shù)據(jù)一致性處理拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開(kāi)源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類(lèi)組件間的集成，通過(guò)減少技術(shù)債務(wù)來(lái)維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開(kāi)源項(xiàng)目之一，開(kāi)發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為期25周的開(kāi)發(fā)中，來(lái)自125個(gè)組織/機(jī)構(gòu)的680多位開(kāi)發(fā)者累計(jì)提交了15000項(xiàng)修改。1.閱讀