版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領
文檔簡介
大數(shù)據(jù)存儲緒論隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計算等技術(shù)的快速興起,人類社會中數(shù)據(jù)的增長方式與以往任何時期都有了巨大的不同。不僅數(shù)據(jù)規(guī)模越來越大,數(shù)據(jù)形式越來越復雜,數(shù)據(jù)的更新速度越來越快,數(shù)據(jù)與人們生活的密切程度也越來越高。據(jù)美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究,僅僅互聯(lián)網(wǎng)上的數(shù)據(jù)每年就呈現(xiàn)50%左右的增長。除此之外,全世界的工業(yè)設備、交通工具、生活電器、移動終端,也都隨時測量和傳遞著有關(guān)震動、位置、溫度、濕度乃至人類之間相互聯(lián)系的變化情況,海量數(shù)據(jù)已成為目前數(shù)據(jù)信息最明顯的標簽之一。人類已經(jīng)進入了一個“大數(shù)據(jù)”時代,數(shù)據(jù)的規(guī)模更加龐大,數(shù)據(jù)的種類不再單一,快速查詢、定位并提供數(shù)據(jù)的要求也越來越高,與此緊密相關(guān)的數(shù)據(jù)存儲與傳統(tǒng)的數(shù)據(jù)存儲相比亦發(fā)生了巨大變化。項目描述項目背景為后續(xù)更好地學習大數(shù)據(jù)存儲的相關(guān)知識,本項目將通過大數(shù)據(jù)簡介及大數(shù)據(jù)存儲技術(shù)的介紹,讓讀者對大數(shù)據(jù)技術(shù)體系及大數(shù)據(jù)存儲技術(shù)有一定的了解,為真正生產(chǎn)環(huán)境中的存儲技術(shù)選型奠定好架構(gòu)設計的基礎。項目描述項目目標隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計算等技術(shù)的快速興起,人類社會中數(shù)據(jù)的增長方式與以往任何時期都有了巨大的不同。不僅數(shù)據(jù)規(guī)模越來越大,數(shù)據(jù)形式越來越復雜,數(shù)據(jù)的更新速度越來越快,數(shù)據(jù)與人們生活的密切程度也越來越高。據(jù)美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究,僅僅互聯(lián)網(wǎng)上的數(shù)據(jù)每年就呈現(xiàn)50%左右的增長。除此之外,全世界的工業(yè)設備、交通工具、生活電器、移動終端,也都隨時測量和傳遞著有關(guān)震動、位置、溫度、濕度乃至人類之間相互聯(lián)系的變化情況,海量數(shù)據(jù)已成為目前數(shù)據(jù)信息最明顯的標簽之一。人類已經(jīng)進入了一個“大數(shù)據(jù)”時代,數(shù)據(jù)的規(guī)模更加龐大,數(shù)據(jù)的種類不再單一,快速查詢、定位并提供數(shù)據(jù)的要求也越來越高,與此緊密相關(guān)的數(shù)據(jù)存儲與傳統(tǒng)的數(shù)據(jù)存儲相比亦發(fā)生了巨大變化。項目描述項目分析1大數(shù)據(jù)的存儲技術(shù)目錄大數(shù)據(jù)簡介2大數(shù)據(jù)存儲是大數(shù)據(jù)技術(shù)體系中的一部分。為此,了解大數(shù)據(jù)的概念、特征和應用領域,熟悉大數(shù)據(jù)技術(shù)體系,是理解大數(shù)據(jù)存儲技術(shù)的前提和基礎。任務描述
“大數(shù)據(jù)”一詞早在上世紀80年代就已提出,并于2009年開始成為IT行業(yè)的流行詞匯,但作為一個較為抽象的概念,至今業(yè)界還沒有對“大數(shù)據(jù)”給出一個確切、統(tǒng)一的定義。維基百科:在合理的時間內(nèi),無法運用傳統(tǒng)的數(shù)據(jù)庫管理工具或數(shù)據(jù)處理軟件,完成捕獲、管理和處理等功能的大型而復雜的數(shù)據(jù)集。麥肯錫:大數(shù)據(jù)是指在一定時間內(nèi)無法用傳統(tǒng)數(shù)據(jù)庫軟件工具采集、存儲、管理和分析其內(nèi)容的數(shù)據(jù)集合。Gartner:大數(shù)據(jù)是指需要借助新的處理模式才能擁有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的具有海量、多樣化和高增長率等特點的信息資產(chǎn)。大數(shù)據(jù)的概念大數(shù)據(jù)的特征處理速度快數(shù)據(jù)價值密度低數(shù)據(jù)種類多數(shù)據(jù)規(guī)模大目前,大數(shù)據(jù)已滲透到各行業(yè)和各業(yè)務職能領域。電商行業(yè):通過海量的商品交易數(shù)據(jù),不僅可以統(tǒng)計出消費熱點、客戶的消費習慣、消費特點、影響消費的因素等,還能預測出消費趨勢、流行趨勢等。醫(yī)療行業(yè):在疫情追蹤、溯源與預警、輔助醫(yī)療救治、助力資源合理配置及輔助決策中得到廣泛應用,提升各地疫情防控工作效率。為防控“戰(zhàn)役”提供了重要支持。交通行業(yè):通過提前預測道路交通情況,為出行提供優(yōu)化方案,在助力交通部門提高道路交通把控能力,防止和緩解交通擁堵等方面起到了極為重要的作用。大數(shù)據(jù)的應用領域
大數(shù)據(jù)的技術(shù)體系,就是以從各種類型海量數(shù)據(jù)中快速獲取有價值的信息為目的,由大量在大數(shù)據(jù)領域涌現(xiàn)出的數(shù)據(jù)采集、存儲、處理和呈現(xiàn)等相關(guān)技術(shù)所組成的相互聯(lián)系的技術(shù)整體。大數(shù)據(jù)的技術(shù)體系1大數(shù)據(jù)的存儲技術(shù)目錄大數(shù)據(jù)簡介2數(shù)據(jù)可以存儲在文件、數(shù)據(jù)庫或數(shù)據(jù)倉庫中。為此,首先解釋3種數(shù)據(jù)存儲的方式,然后對數(shù)據(jù)庫存儲中常用的分布式數(shù)據(jù)庫進行簡要介紹。任務描述數(shù)據(jù)存儲簡介1.基于文件系統(tǒng)的數(shù)據(jù)存儲分布式文件系統(tǒng)架構(gòu)圖文件系統(tǒng)是操作系統(tǒng)用于在分區(qū)上、存儲設備上負責組織、存取與管理文件的機構(gòu),主要由3部分組成:與文件管理有關(guān)軟件、被管理的文件以及實施文件管理所需的數(shù)據(jù)結(jié)構(gòu)。其中,被管理的文件,即數(shù)據(jù),是以文件的形式存儲在各存儲設備上,并由操作系統(tǒng)統(tǒng)一管理。數(shù)據(jù)存儲簡介2.基于數(shù)據(jù)庫的數(shù)據(jù)存儲數(shù)據(jù)庫(Database)就是按照一定的數(shù)據(jù)結(jié)構(gòu)(數(shù)據(jù)的組織形式或數(shù)據(jù)之間的聯(lián)系)進行組織、存儲和管理數(shù)據(jù)的倉庫。通過數(shù)據(jù)庫提供的多種方式可以方便地管理數(shù)據(jù)庫里的數(shù)據(jù)。T指采用了關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫,以由行和列所組成的二維表格的形式存儲數(shù)據(jù)。指那些非嚴格關(guān)系型的、分布式的、不保證遵循ACID原則的數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫數(shù)據(jù)存儲簡介2.基于文件系統(tǒng)的數(shù)據(jù)存儲關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫是人類社會在處理數(shù)據(jù)不同階段而出現(xiàn)的不同產(chǎn)物,分別適用于不同的場景。關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫優(yōu)勢易理解建表靈活易使用儲存靈活易維護處理數(shù)據(jù)量巨大不足海量數(shù)據(jù)處理效率低復雜查詢能力弱數(shù)據(jù)庫系統(tǒng)升級或擴展時,需要停機事務處理能力弱數(shù)據(jù)存儲簡介3.基于數(shù)據(jù)倉庫的數(shù)據(jù)存儲數(shù)據(jù)倉庫存儲的主要是歷史數(shù)據(jù),并通過維度表用于對數(shù)據(jù)的分析。數(shù)據(jù)倉庫通過系統(tǒng)的分析、整理和組織大量的歷史數(shù)據(jù),以聯(lián)機分析處理(OLAP)和數(shù)據(jù)挖掘等各種方法,幫助決策者快速有效的從大量數(shù)據(jù)中,分析出有價值的信息,以實現(xiàn)輔助決策,構(gòu)建商業(yè)智能。0面向主題0集成0相對穩(wěn)定0反應歷史變化分布式數(shù)據(jù)庫簡介1.分布式數(shù)據(jù)庫及其管理系統(tǒng)分布式數(shù)據(jù)庫是在傳統(tǒng)集中式數(shù)據(jù)庫的基礎上發(fā)展而來的,是針對大數(shù)據(jù)存儲管理而快速發(fā)展起來的關(guān)鍵技術(shù),是數(shù)據(jù)庫技術(shù)和網(wǎng)絡技術(shù)不斷發(fā)展、互相融合、互相促進的結(jié)果。其基本思想是借助計算機網(wǎng)絡技術(shù),將海量數(shù)據(jù)分散存儲在網(wǎng)絡中的不同存儲節(jié)點,并通過分布式計算技術(shù),將這些分散的物理存儲單元連接起來組成一個邏輯上統(tǒng)一的數(shù)據(jù)庫,從而在獲取更大存儲容量的同時,實現(xiàn)更高的并發(fā)訪問量。分布式數(shù)據(jù)庫管理系統(tǒng)是一種專門為分布式數(shù)據(jù)庫所設計的,用于建立、使用和維護分布式數(shù)據(jù)庫的大型軟件,通過借助存儲引擎和計算引擎,對分布式數(shù)據(jù)庫進行統(tǒng)一的管理,以保證分布式數(shù)據(jù)庫的安全性和完整性。分布式數(shù)據(jù)庫2.NoSQL數(shù)據(jù)庫的特點靈活的數(shù)據(jù)模型可擴展性強高可用性高并發(fā)性NoSQL(Not
Only
SQL,可意為“不僅僅是SQL”)數(shù)據(jù)庫,是對不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫的統(tǒng)稱。0000分布式數(shù)據(jù)庫3.NoSQL數(shù)據(jù)庫的分類鍵值數(shù)據(jù)庫Redis、SimpleDB列族數(shù)據(jù)庫文檔數(shù)據(jù)庫圖形數(shù)據(jù)庫HBase、BigTableMongoDB、CruchDBNeo4J、GraphDB在大數(shù)據(jù)的儲存與處理上,NoSQL具備傳統(tǒng)關(guān)系型數(shù)據(jù)庫無法比擬的性能優(yōu)勢。隨著人們對非關(guān)系型數(shù)據(jù)庫的日益重視,目前已開發(fā)出眾多性能優(yōu)秀的NoSQL數(shù)據(jù)庫產(chǎn)品。人類已經(jīng)進入了一個“大數(shù)據(jù)”時代,數(shù)據(jù)的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度水利工程合同擔保及質(zhì)量監(jiān)督合同范本3篇
- 2025年度木托板環(huán)保認證與市場準入合同3篇
- 二零二五年度員工特殊貢獻獎勵借款合同2篇
- 二零二五年度定制家具設計與全球供應鏈管理合同3篇
- 2025版石料運輸與保險服務合同2篇
- 二零二五年度技術(shù)轉(zhuǎn)讓的具體協(xié)議3篇
- 2025年金融產(chǎn)品居間推廣委托合同3篇
- 2025版環(huán)保企業(yè)兼職環(huán)保工程師服務協(xié)議3篇
- 海南衛(wèi)生健康職業(yè)學院《國際經(jīng)濟法律實務》2023-2024學年第一學期期末試卷
- 二零二五年度辦事處國際合作與交流合同
- 常用靜脈藥物溶媒的選擇
- 2024年中國陶瓷碗盆市場調(diào)查研究報告
- ISO 56001-2024《創(chuàng)新管理體系-要求》專業(yè)解讀與應用實踐指導材料之22:“8運行-8.1運行策劃和控制”(雷澤佳編制-2025B0)
- 單位網(wǎng)絡安全攻防演練
- 新交際英語(2024)一年級上冊Unit 1~6全冊教案
- 神經(jīng)外科基礎護理課件
- 2024中國儲備糧管理集團限公司招聘700人易考易錯模擬試題(共500題)試卷后附參考答案
- 內(nèi)蒙古赤峰市2023-2024學年高一上學期期末考試物理試題(含答案)
- 2024年中國心力衰竭診斷和治療指南2024版
- HCCDP 云遷移認證理論題庫
- 自己總結(jié)的清華斯維爾節(jié)能問題解答(共21頁)
評論
0/150
提交評論