大數據行業(yè)發(fā)展與基本概念

大數據基本概念與行業(yè)發(fā)展現在是1頁\一共有41頁\編輯于星期五大數據的起源12數據發(fā)展簡史3國內行業(yè)發(fā)展現在是2頁\一共有41頁\編輯于星期五基于歷史數據，利用數據建模定量分析不同球員特點，合理搭配，重新組隊；打破傳統(tǒng)思維，通過分析比賽數據，尋找“性價比”最高球員，運用數據取得成功；布拉德?皮特主演的《點球成金》是一部美國奧斯卡獲獎影片，所講述的是皮特扮演的棒球隊總經理利用計算機數據分析，對球隊進行了翻天覆地的改造，讓一家不起眼的小球隊能夠取得巨大的成功。電影《點球成金》現在是3頁\一共有41頁\編輯于星期五僅供開采162年僅供開采45年僅供開采60年2013年，10分鐘的信息總量將達1.8ZB2010年全球數據總量1.2ZB，年增長50%數據不再是社會生產的“副產物”，而是可被二次乃至多次加工的原料，從中可以探索更大價值，它變成了生產資料。不可再生資源VS數據2020年全球數據總量將達到40ZB現在是4頁\一共有41頁\編輯于星期五數據爆炸式增長（每分鐘……）Twitter上發(fā)布98000+新微博13000+個iPhone應用下載Skype上37萬+分鐘的語音通話上傳6600張新照片到flickr發(fā)出1.68億+條EmailYouTube上上傳600+新視頻淘寶光棍節(jié)10680+個新訂單12306出票1840+張現在是5頁\一共有41頁\編輯于星期五傳統(tǒng)處理方式所無法解決的挑戰(zhàn)12345挑戰(zhàn)數據體量越來越大非結構半結構混雜處理速度要求越來越快數據應用模式創(chuàng)新更豐富的視覺元素現在是6頁\一共有41頁\編輯于星期五需要性價比更高的儲存方式數據庫數據倉庫現在是7頁\一共有41頁\編輯于星期五85%半/非結構化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

需要不同的數據管理策略當我們想要擴充時，才發(fā)覺：架構只能scale-up，scale-out不易處理時間過長，time-to-value受限成本過高，cost-efficiency受限15%結構化的DB/DW遺憾殘缺現在是8頁\一共有41頁\編輯于星期五需要更高效的計算方式規(guī)模時間傳統(tǒng)大數據現在是9頁\一共有41頁\編輯于星期五什么是大數據？維基百科：大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數據就是“未來的新石油”現在是10頁\一共有41頁\編輯于星期五容量Volume多樣Variety價值Value速度Velocity數據體量巨大。從TB級別，躍升到PB級以上。數據類型繁多。日志、視頻、圖片、GIS等。秒級定律。一般要求在秒級內給出分析結果。利用低價值密度數據，可以帶來高價值回報。大數據的“4V”特征現在是11頁\一共有41頁\編輯于星期五更多的“V”可變性Variability真實性Veracity可視化Visualization數據的含義總是在快速變化的。要考慮具體的上下文。確保數據的真實性，才能保證數據分析的正確性。只有正確的可視化，原始數據才可被投入使用?，F在是12頁\一共有41頁\編輯于星期五大數據的起源12數據發(fā)展簡史3國內行業(yè)發(fā)展現在是13頁\一共有41頁\編輯于星期五數據概述在人類發(fā)展歷程中，數據表現方式分為兩類：模擬數據（聲音，文件，圖像，視頻）數字數據（文字，符號）自從計算機發(fā)明以來，數據在計算機中都是以二進制0和1的形式進行保存。鑒于對數據的分類管理需要，隨之而來各種各種的數據管理軟件應運而生?，F在是14頁\一共有41頁\編輯于星期五現在是15頁\一共有41頁\編輯于星期五數據倉庫NoSQLNewSQL關系型數據庫集群化大數據數據發(fā)展的五個階段現在是16頁\一共有41頁\編輯于星期五第一階段關系型數據庫現在是17頁\一共有41頁\編輯于星期五第二階段數據倉庫DW-DataWarehouse面向主題數據是按照一定的主題域進行組織，一個主題通常與多個操作型信息系統(tǒng)相關。集成的必須保證數據倉庫內的信息是關于整個企業(yè)的一致的全局信息。相對穩(wěn)定某個數據進入數據倉庫之后，一般情況下將被長期保留，修改和刪除操作很少。反映歷史變化倉庫中的數據通常包含歷史信息，反映過去某一時點到目前的各個階段的信息。用于支持管理決策現在是18頁\一共有41頁\編輯于星期五現在是19頁\一共有41頁\編輯于星期五ETLBI現在是20頁\一共有41頁\編輯于星期五第三階段NoSQL、NewSQL事務分析互聯網OldSQL大數據時代架構多元化NewSQL分析OldSQL事務NoSQL互聯網現在是21頁\一共有41頁\編輯于星期五鍵值存儲數據庫NoSQL互聯網列式存儲數據庫文檔存儲數據庫圖像存儲數據庫文件存儲數據庫消息隊列系統(tǒng)現在是22頁\一共有41頁\編輯于星期五NewSQL分析現在是23頁\一共有41頁\編輯于星期五第四階段集群化高可用通常采用Master-Slave或者P2P模式，保障數據的災備。分片將大規(guī)模數據按照一定規(guī)則拆分，不同的分片存儲在不同的結點。復制數據通常會在集群的多個結點中留存多個數據副本，以保證可靠?；旌蠎貌煌臉I(yè)務場景，會混合使用多種不同的數據存儲系統(tǒng)?，F在是24頁\一共有41頁\編輯于星期五服務器1分片處理前分片處理后片服務器1片服務器2片服務器3現在是25頁\一共有41頁\編輯于星期五服務器1復制前復制后服務器1服務器2服務器3主從復制or對等復制現在是26頁\一共有41頁\編輯于星期五第五階段大數據讓大象跳舞現在是27頁\一共有41頁\編輯于星期五Hadoop2.0生態(tài)現在是28頁\一共有41頁\編輯于星期五流式計算框架現在是29頁\一共有41頁\編輯于星期五搜索引擎框架現在是30頁\一共有41頁\編輯于星期五某政務大數據項目架構現在是31頁\一共有41頁\編輯于星期五大數據的起源12數據發(fā)展簡史3國內行業(yè)發(fā)展現在是32頁\一共有41頁\編輯于星期五大數據是如何成為網紅的？2005年2008年2011年2015年2016年2012年2014年第一款商用Hadoop項目誕生在美國發(fā)表第一個關于大數據的白皮書國家工信部發(fā)布物聯網十二五規(guī)劃成為世界經濟論壇重要主題之一在我國政府報告中大數據首次出現國務院印發(fā)《促進大數據發(fā)展行動綱要》大數據“十三五”規(guī)劃出臺現在是33頁\一共有41頁\編輯于星期五我國大數據的發(fā)展階段時間探索起步期快速推進器規(guī)模發(fā)展期產業(yè)消化期應用成熟期市場認可度1）大數據產業(yè)在中國出現，并逐步受到關注，互聯網企業(yè)率先將應用落地2）2015年我國提出《大數據發(fā)展行動綱要》大力支持大數據產業(yè)發(fā)展，并于2016年提升為國家戰(zhàn)略3）大數據概念廣泛普及，企業(yè)用戶不斷提升，資本市場高度關注，大數據企業(yè)規(guī)?；l(fā)展4）大數據市場相對成熟，市場熱度逐漸消化，大數據企業(yè)整合5）行業(yè)標準建立、監(jiān)管規(guī)范完善，被廣泛應用，行業(yè)將趨于穩(wěn)定發(fā)展現在是34頁\一共有41頁\編輯于星期五我國大數據產業(yè)市場規(guī)模2017年我國大數據市場規(guī)模已達358億元，年增速達到47.3%。預計2020年，我國大數據市場規(guī)模將達到731億元?，F在是35頁\一共有41頁\編輯于星期五我國大數據主要應用領域市場吸引力應用成熟度教育物流電信交通醫(yī)療政府公共服務金融電子商務現在是36頁\一共有41頁\編輯于星期五我國大數據區(qū)域分布京津冀地區(qū)依托北京，培育了一大批大數據企業(yè)，是目前我國大數據企業(yè)集聚最多的地方。珠三角地區(qū)依托廣州和深圳兩個國家超級計算中心的集聚作用，在騰訊、華為、中興等一批骨干企業(yè)的帶動下，逐漸形成了大數據集聚發(fā)展的趨勢。長三角地區(qū)依托上海、杭州、南京，吸引了大批大數據企業(yè)，上海發(fā)布《上海推進大數據研究與發(fā)展三年行動計劃》，推動大數據在城市管理和民生服務領域應用。大西南地區(qū)以貴州、重慶為代表城市，通過積極吸引國內外龍頭骨干企業(yè)，實現大數據產業(yè)在當地的快速發(fā)展?，F在是37頁\一共有41頁\編輯于星期五基礎資源/云平臺數據存儲數據采集數據處理數據分析展示應用管理工具實時接入、海量堆積多種結構、海量存儲離線統(tǒng)計、實時計算數據倉庫、機器學習圖形、報表等工具庫高可用、高性能集群數據安全大數據的一般利用過程（生命周期）現在是38頁\一共有41頁\編輯于星期五大數據產業(yè)鏈及細分領域數據采集基礎軟件硬件應用