版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、這是一個(gè)大數(shù)據(jù)的時(shí)代 大數(shù)據(jù)時(shí)代的4V特征 Volume 海量數(shù)據(jù) 從TB級(jí)別,增長(zhǎng)到PB級(jí)別 Variety 數(shù)據(jù)種類(lèi)繁多 有各類(lèi)文本、圖片、視頻等數(shù)據(jù), 而且非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多 Velocity 實(shí)時(shí)性 海量數(shù)據(jù)需要快速的處理和檢索 Veracity 真實(shí)準(zhǔn)確 利用數(shù)據(jù)挖掘和分析得出真實(shí)準(zhǔn)確的信息 大數(shù)據(jù)時(shí)代,對(duì)存儲(chǔ)系統(tǒng)提供更高要求 大容量 高效率 高可用 大數(shù)據(jù)時(shí)代,現(xiàn)有存儲(chǔ)系統(tǒng)面臨的難題 以智慧城市的建設(shè)為例 海量數(shù)據(jù)存儲(chǔ),如何統(tǒng)一管理和統(tǒng)一調(diào)度 數(shù)以萬(wàn)計(jì)的監(jiān)控點(diǎn),存儲(chǔ)容量已經(jīng)達(dá)到PB級(jí)別 智能分析抽離出的圖片、文字、摘要視頻等,數(shù)據(jù)種類(lèi)多種多樣。 白色小型車(chē) 滬FW6461 逆行
2、闖紅燈 紅色上衣 紅色小型車(chē) 人員聚集告警 人臉抓拍圖片 黃色襯衫 行車(chē)軌跡 北緯31.3 東 經(jīng) 120.6 除視頻監(jiān)控?cái)?shù)據(jù)外,各類(lèi)應(yīng)用系統(tǒng)的數(shù)據(jù)也需進(jìn)行融 合 移動(dòng)警務(wù) 圖像資源信息庫(kù) 車(chē)牌信息數(shù)據(jù) 庫(kù) 移動(dòng)警務(wù) 人員信息數(shù)據(jù) 庫(kù) 移動(dòng)警務(wù) 在并發(fā)讀寫(xiě)時(shí),存儲(chǔ)設(shè)備的性能瓶頸在控制器或處理能力上。為提升并發(fā)處理能力,必須不斷 的進(jìn)行硬件升級(jí)。 大容量并發(fā)讀寫(xiě),設(shè)備性能成為瓶頸 存儲(chǔ)設(shè)備 300路高清 存儲(chǔ)設(shè)備 200路高清 存儲(chǔ)設(shè)備 100路高清 單臺(tái)最大并發(fā)處理能力 升級(jí)CPU 升級(jí)內(nèi)存 設(shè)備故障須及時(shí)修復(fù),維護(hù)成本激增 硬盤(pán) 存儲(chǔ)設(shè)備 硬盤(pán)硬盤(pán)硬盤(pán) 硬盤(pán)硬盤(pán)硬盤(pán)硬盤(pán) 熱備硬盤(pán)硬盤(pán)硬盤(pán) R
3、AID硬盤(pán)硬盤(pán)硬盤(pán) 某塊硬盤(pán)發(fā)生故障時(shí),例如RAID,只允許設(shè)備 中有一塊硬盤(pán)失效。而RAID恢復(fù)時(shí)間往往需要十 幾個(gè)小時(shí),期間再壞盤(pán),就無(wú)法恢復(fù)了。因此, 需要立即更換或修復(fù)故障硬盤(pán)。 存儲(chǔ)設(shè)備 存儲(chǔ)設(shè)備 存儲(chǔ)設(shè)備1 某臺(tái)設(shè)備發(fā)生故障時(shí),雖可以用負(fù)載均衡技術(shù)分 擔(dān)給其它設(shè)備,但需要立即更換或修復(fù)故障設(shè)備, 否則存儲(chǔ)于其中的數(shù)據(jù)無(wú)法讀取。 故障 故障 容量達(dá)到“PB”級(jí)別,維護(hù)就成為最大的難題 NAS存儲(chǔ)設(shè)備 NAS存儲(chǔ)設(shè)備 NAS存儲(chǔ)設(shè)備 卡口平臺(tái)監(jiān)控平臺(tái) IP SAN存儲(chǔ)設(shè)備 IP SAN存儲(chǔ)設(shè)備 IP SAN存儲(chǔ)設(shè)備 圖像資源數(shù)據(jù)庫(kù) NAS集群存儲(chǔ)設(shè)備 NAS集群存儲(chǔ)設(shè)備 NAS集群存儲(chǔ)
4、設(shè)備 不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以融合 各個(gè)應(yīng)用系統(tǒng),都建設(shè)獨(dú)立的一套存儲(chǔ)調(diào)度系統(tǒng),可移植性和重復(fù)利用率較差。而且,不同的應(yīng)用系 統(tǒng)需要各種類(lèi)型的存儲(chǔ)系統(tǒng),NAS、IPSAN或集群NAS,難以融合。 如何解決些難題? 海量數(shù)據(jù)存儲(chǔ),如何統(tǒng)一管理和統(tǒng)一調(diào)度 大容量并發(fā)讀寫(xiě),設(shè)備性能成為瓶頸 不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以融合 設(shè)備故障須及時(shí)修復(fù),維護(hù)成本激增 云存儲(chǔ)應(yīng)運(yùn)而生 概念篇 只在此山中,云深不知處 什么叫做”云”? 使用者按需獲取資源,無(wú)需關(guān)心資源在何處,如何構(gòu)建。 就像從“云端”獲取資源 云 Cloud 像是擰開(kāi)水龍頭取水,打開(kāi)開(kāi)關(guān)獲取電一樣便捷,用戶(hù)也可以方便的使用“云”資源。 什么叫做”云”
5、? 什么是云存儲(chǔ)? 用戶(hù)按需使用存儲(chǔ)資源,無(wú)需關(guān)心存儲(chǔ)設(shè)備在何處,如何構(gòu)建。在視頻監(jiān)控領(lǐng)域,云存儲(chǔ)作為基礎(chǔ) 資源,其“用戶(hù)”為各類(lèi)業(yè)務(wù)系統(tǒng)。 云存儲(chǔ) Cloud Storage 卡口平臺(tái) 視頻監(jiān)控平臺(tái) 圖像資源數(shù)據(jù)庫(kù) 統(tǒng)一數(shù)據(jù)平臺(tái) 智能應(yīng)用系統(tǒng) 難題的解決之道 海量數(shù)據(jù)存儲(chǔ),如何統(tǒng)一管理和統(tǒng)一調(diào)度 大容量并發(fā)讀寫(xiě),設(shè)備性能成為瓶頸 不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以融合 設(shè)備故障須及時(shí)修復(fù),維護(hù)成本激增 提供分布式文件系統(tǒng),數(shù)據(jù)調(diào)度與存儲(chǔ)分離 將單打獨(dú)斗升級(jí)為團(tuán)隊(duì)作戰(zhàn) 由及時(shí)維護(hù)轉(zhuǎn)變?yōu)槎ㄆ诰S護(hù) 將各種數(shù)據(jù)融合,提供統(tǒng)一接口 架構(gòu)篇 有形不累物,無(wú)跡卻隨風(fēng) 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn) 云存儲(chǔ)的系
6、統(tǒng)架構(gòu) 云存儲(chǔ)的系統(tǒng)架構(gòu),分為“控制節(jié)點(diǎn)”和“存儲(chǔ)節(jié)點(diǎn)”兩個(gè)部分。 控制節(jié)點(diǎn) 控制節(jié)點(diǎn) 控制節(jié)點(diǎn) 控制節(jié)點(diǎn)采用集群架構(gòu), 存儲(chǔ)元數(shù)據(jù),對(duì)存儲(chǔ)節(jié)點(diǎn) 進(jìn)行調(diào)度 存儲(chǔ)節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行分布 式存儲(chǔ),可進(jìn)行復(fù)制或者 RAID備份 注:元數(shù)據(jù)(metadata),包括文件目錄組織、屬性維護(hù)、訪問(wèn)控 制信息、文件操作日志記錄、文件到塊的映射信息、塊當(dāng)前所在的 位置等。 云存儲(chǔ)的工作流程 數(shù)據(jù) 控制節(jié) 點(diǎn) 控制節(jié) 點(diǎn) 控制節(jié) 點(diǎn) 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn) 網(wǎng) 絡(luò) 業(yè)務(wù)系統(tǒng) 申請(qǐng) 調(diào)度 調(diào)度 備份 同步 云 存 儲(chǔ) 系 統(tǒng) 3412 1 2 3 4 業(yè)務(wù)系統(tǒng)向控制節(jié)點(diǎn)申請(qǐng)存儲(chǔ)資源,控制節(jié)點(diǎn)回復(fù)調(diào)度信
7、 息 數(shù)據(jù)經(jīng)由網(wǎng)絡(luò),到達(dá)存儲(chǔ)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)控制節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)間同步調(diào)度與存儲(chǔ)信息控制節(jié)點(diǎn)間進(jìn)行元數(shù)據(jù)同步備份存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行復(fù)制或RAID備份 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn) 海量存儲(chǔ),彈性伸縮 相比傳統(tǒng)的存儲(chǔ)設(shè)備,云存儲(chǔ)可支持的存儲(chǔ)節(jié)點(diǎn)數(shù)以千計(jì),支持的容量達(dá)百PB級(jí)別,并可彈性伸縮,無(wú)縫擴(kuò) 展。 1 2 34 85 6 79 控制節(jié)點(diǎn)控制節(jié)點(diǎn) 控制節(jié)點(diǎn) 1 234 85 6 79 增加存儲(chǔ)節(jié) 點(diǎn) ,數(shù)據(jù)自動(dòng)重組 減少存儲(chǔ)節(jié) 點(diǎn) ,數(shù)據(jù)自動(dòng)恢復(fù) 6 47 傳統(tǒng)的存儲(chǔ)設(shè)備并發(fā)讀寫(xiě)性能,受到NAS機(jī)頭、CPU或控制器的能力限制,而云存儲(chǔ)系統(tǒng)采用控制與數(shù)據(jù)分 離的架構(gòu),脫離了單臺(tái)設(shè)
8、備的能力束縛,整個(gè)系統(tǒng)的性能主要受到網(wǎng)絡(luò)吞吐能力的限制。 存儲(chǔ)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn) 控制節(jié)點(diǎn)控制節(jié)點(diǎn) 控制節(jié)點(diǎn) 數(shù)據(jù)流不經(jīng)過(guò)控制節(jié)點(diǎn) 千兆交換網(wǎng)絡(luò)萬(wàn)兆交換網(wǎng)絡(luò) 高并發(fā)讀寫(xiě)性能,擺脫單臺(tái)設(shè)備能力束縛 傳統(tǒng)的存儲(chǔ)設(shè)備并發(fā)讀寫(xiě)性能,受到NAS機(jī)頭、CPU或控制器的能力限制,而云存儲(chǔ)系統(tǒng)采用控制與數(shù)據(jù)分 離的架構(gòu),脫離了單臺(tái)設(shè)備的能力束縛,整個(gè)系統(tǒng)的性能主要受到網(wǎng)絡(luò)吞吐能力的限制。 高并發(fā)讀寫(xiě)性能,擺脫單臺(tái)設(shè)備能力束縛 存儲(chǔ)設(shè)備 300路高清 已經(jīng)撐不住了 毫無(wú)壓力 30000路高清 云存儲(chǔ) 云存儲(chǔ)系統(tǒng)的控制節(jié)點(diǎn)采用集群架構(gòu),單點(diǎn)發(fā)生故障時(shí),可無(wú)縫切換,系統(tǒng)業(yè)務(wù)不會(huì)中斷。 控制節(jié)點(diǎn)控制節(jié)點(diǎn) 控制節(jié)點(diǎn) 工作節(jié) 點(diǎn) 備份節(jié) 點(diǎn) 備份節(jié) 點(diǎn) 高可靠,系統(tǒng)業(yè)務(wù)不中斷 云存儲(chǔ)可為多個(gè)業(yè)務(wù)系統(tǒng)同時(shí)提供服務(wù),內(nèi)部架構(gòu)對(duì)其透明,提供統(tǒng)一的訪問(wèn)入口,利于數(shù)據(jù)共享與融合。 控制節(jié)點(diǎn)控制節(jié)點(diǎn) 控制節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn) 業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)2業(yè)務(wù)系統(tǒng)3業(yè)務(wù)系統(tǒng)4 統(tǒng)一訪問(wèn)入口,多用戶(hù)并行訪問(wèn) 云存儲(chǔ)的
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 長(zhǎng)沙軌道交通職業(yè)學(xué)院《跨境電子商務(wù)實(shí)務(wù)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2023年全國(guó)移動(dòng)應(yīng)用安全觀測(cè)報(bào)告
- 2025年云南出版集團(tuán)所屬西雙版納新華書(shū)店有限公司招聘筆試參考題庫(kù)附帶答案詳解
- 2025年山東東營(yíng)市東營(yíng)區(qū)城市發(fā)展投資集團(tuán)有限公司招聘筆試參考題庫(kù)附帶答案詳解
- 2025年南通檢驗(yàn)認(rèn)證有限公司招聘筆試參考題庫(kù)含答案解析
- 2025年安徽長(zhǎng)泰科技有限公司招聘筆試參考題庫(kù)含答案解析
- 2025年雄安雄商發(fā)展有限公司招聘筆試參考題庫(kù)含答案解析
- 城市環(huán)保產(chǎn)業(yè)發(fā)展政策解讀
- 二零二五年度農(nóng)產(chǎn)品國(guó)際貿(mào)易合同范本及質(zhì)量檢測(cè)標(biāo)準(zhǔn)3篇
- 二零二五年度瑜伽館網(wǎng)絡(luò)推廣合同2篇
- 2025年蛇年春聯(lián)帶橫批-蛇年對(duì)聯(lián)大全新春對(duì)聯(lián)集錦
- 《三角形的分類(lèi)》-完整版課件
- 初級(jí)咖啡師資格考核試題與答案
- 金華-經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)-山嘴頭 未來(lái)社區(qū)實(shí)施方案
- 國(guó)家義務(wù)教育質(zhì)量監(jiān)測(cè)結(jié)果應(yīng)用教學(xué)研討
- 護(hù)士聘用證明表下載
- 燃料油需求專(zhuān)題(二):航線與運(yùn)費(fèi)
- 2019年同等學(xué)力(教育學(xué))真題精選
- 【框架完整】快樂(lè)卡通風(fēng)十歲成長(zhǎng)禮紀(jì)念相冊(cè)PPT模板(PPT 24頁(yè))
- 煤礦井下供電三大保護(hù)整定細(xì)則
- 1986考研英語(yǔ)真題及答案解析
評(píng)論
0/150
提交評(píng)論