浪潮云海大數(shù)據(jù)解決方案V3.0

1、浪潮（:!北京）電子信息產(chǎn)業(yè)有限公司浪潮（:!北京）電子信息產(chǎn)業(yè)有限公司 高可用性，建立在HDFS分布式文件系統(tǒng)之上。2.4Hive數(shù)據(jù)倉庫Hive是一個建立在hadoop之上的數(shù)據(jù)倉庫，用于查詢和分析結(jié)構(gòu)化海量數(shù)據(jù)-采用HDFS進行數(shù)據(jù)存儲-采用Map/Reduce進行數(shù)據(jù)操作基本特點:-提供類似于SQL的查詢語言-高擴展性(scale-out)，動態(tài)擴容無須停機-針對海量數(shù)據(jù)的高性能查詢和分析系統(tǒng)-提供靈活的擴展性復雜數(shù)據(jù)類型，擴展函數(shù)和腳本等三浪潮云海大數(shù)據(jù)一體機解決方案優(yōu)勢3.1高性能專用的大數(shù)據(jù)存儲服務(wù)器：針對大數(shù)據(jù)的應(yīng)用特點，浪潮憑借在服務(wù)器及存儲方面的領(lǐng)先優(yōu)勢，自主開發(fā)了大數(shù)據(jù)存

2、儲服務(wù)器，具備高密度、大容量存儲特性。胖節(jié)點加速方案:胖節(jié)點擁有英特爾至強平臺的最強性能、最大內(nèi)存、最高RAS特性保障。閃存加速技術(shù)：將閃存盤放在整個計算緩存里面做高速緩存，針對不同應(yīng)用類型，實現(xiàn)全局的算法，降低冗余率，使整個平臺的計算節(jié)點、存儲節(jié)點大大提高運行效率。高速通信網(wǎng)絡(luò)：通信網(wǎng)絡(luò)選用性能領(lǐng)先的萬兆網(wǎng)絡(luò)或者IB網(wǎng)絡(luò)，實現(xiàn)一體機內(nèi)部的高速互聯(lián)，消除網(wǎng)絡(luò)瓶頸。軟件性能優(yōu)化IO瓶頸易于解決可以發(fā)揮大規(guī)模并行運算優(yōu)勢支持大規(guī)模并行裝載，裝載前無需數(shù)據(jù)格式化，節(jié)點越多裝載速度越快優(yōu)化系統(tǒng)任務(wù)調(diào)度策略，對任務(wù)實現(xiàn)實時監(jiān)控，動態(tài)調(diào)整任務(wù)執(zhí)行資源，減少慢任務(wù)數(shù)量，提高整體性能taskIm皿tasksS

3、laviaj3時任督旳Hliik?Taskl1朝居tLSk4task2快節(jié)蟲抱詼優(yōu)可逼睦節(jié)點池節(jié)點葩taskIm皿tasksSlaviaj3時任督旳Hliik?Taskl1朝居tLSk4task2快節(jié)蟲抱詼優(yōu)可逼睦節(jié)點池節(jié)點葩未完康的Had未完康的HadtaLwkpool排虱府的Hnptaskpool3.2高可靠性服務(wù)器本身冗余特性：節(jié)點的硬盤、風扇、電源等關(guān)鍵部件都是冗余設(shè)計，保障了節(jié)點本身的可靠性。鏈路冗余：網(wǎng)絡(luò)可實現(xiàn)物理冗余設(shè)計，避免單點故障對系統(tǒng)的影響。采用Reed-Solomon算法，優(yōu)化分布式散列數(shù)據(jù)布局，滿足文件高并發(fā)和高帶寬雙重需求同時平衡數(shù)據(jù)冗余度。采用兩副本加編碼的方式相對

4、三副本最大可實現(xiàn)30%空間節(jié)省。eoo:o.o一一蕙密一rIIIIIIIIIL一一蕙密一rIIIIIIIIILI1I|I11HIIM11I1IItL-（IIIIL一一1IL.11I層T!:兀余編碼賽副本存儲冗余編碼薦儲智能失敗任務(wù)識別：自動將任務(wù)轉(zhuǎn)移到備份數(shù)據(jù)節(jié)點執(zhí)行，單個節(jié)點的故障不影響整個任務(wù)的執(zhí)行，有效應(yīng)對計算單元失效。3.3高性價比Hadoop的誕生本身就是為了在低成本的通用硬件集群上運行分布式計算框浪潮云海大數(shù)據(jù)一體機具備優(yōu)異的線性可擴展，滿足了未來業(yè)務(wù)量增長的需求，有效保護了現(xiàn)有投資，降低總體CTO。3.4易本地管理平臺：每套大數(shù)據(jù)一體機中都配有本地管理平臺，使系統(tǒng)管理人員方便集中

5、控管一體機。遠程集中管理平臺：HDFS配置界面舊腫刊匕SEf砂RtgponMajgrClW&Cfasr為餵3云*大然卿一休機少IntpurSm*rtO4ilBJippllairK*hF*N2fih：4iuceMZMKMtJtfHnHBsis*RiEMnMirslmFlush9ci2oeu幅wliBMi*血獨心I1hBuaCumLUflfiumK4屮u汕HEiasARnmBlocp.btjifapitfpmartinI衛(wèi)酣HBase配置界面監(jiān)控管理界面3.5專業(yè)化服務(wù)實施服務(wù)：云海大數(shù)據(jù)一體機會在出廠前進行產(chǎn)品預(yù)裝及嚴格的可靠性測試，保障產(chǎn)品的品質(zhì)。產(chǎn)品實施實現(xiàn)客戶現(xiàn)場的一體化交付，真正做到插電

6、即用，極大地降低了客戶利用大數(shù)據(jù)的門檻。售后服務(wù)：浪潮建立了以山東濟南客戶服務(wù)總部為中心、其他各省、直轄市設(shè)立服務(wù)分中心的覆蓋全國的完備售后體系，所有客服工程師都是原廠經(jīng)驗豐富的服務(wù)工程師。浪潮已經(jīng)連續(xù)九年獲得售后服務(wù)滿意度金獎。競爭性分析跟傳統(tǒng)關(guān)系型數(shù)據(jù)庫對比分析機型浪潮云海大數(shù)據(jù)-體機OracleExadata體機類型新型的機型浪潮云海大數(shù)據(jù)-體機OracleExadata體機類型新型的Hadoop解決方案傳統(tǒng)關(guān)系型數(shù)據(jù)庫（RDBMS）適用場景數(shù)據(jù)規(guī)模10TBEB規(guī)模數(shù)據(jù)規(guī)模TB以下結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化混合存儲結(jié)構(gòu)化數(shù)據(jù)的存儲和處理和處理聯(lián)機交易應(yīng)用海量數(shù)據(jù)的ETL和數(shù)據(jù)挖掘分析應(yīng)用

7、GB級別的數(shù)據(jù)分析和ETL海量數(shù)據(jù)的高并發(fā)隨機訪問架構(gòu)無共享MPP架構(gòu)單一實例Share-all架構(gòu)可用性默認二份數(shù)據(jù)冗余，用戶可依據(jù)需求進大部分產(chǎn)品依賴RAID技術(shù)進行數(shù)據(jù)冗行調(diào)整余備用元數(shù)據(jù)R點，故障后自動切換大部分產(chǎn)品不具備數(shù)據(jù)自愈能力，需要數(shù)據(jù)損失后，可以在剩余機器上自愈數(shù)據(jù)備份故障節(jié)點作業(yè)可以轉(zhuǎn)移到其它節(jié)點節(jié)點故障后，SQL任務(wù)中斷，不能自動無需第二方支持,HBase提供基于日志轉(zhuǎn)移的谷火解決方案部分主流商業(yè)數(shù)據(jù)庫，無需第二方支持提供基于日志的谷災(zāi)解決方案性能10瓶頸易于解決10瓶頸難以解決可以發(fā)揮大規(guī)模并行運算優(yōu)勢難以發(fā)揮大規(guī)模并行運算優(yōu)勢支持大規(guī)模并行裝載，節(jié)點越多裝載速裝載性能

8、有限，數(shù)據(jù)需要格式化度越快可擴展性存儲能力，性能，并發(fā)訪問，既可縱向存儲能力，性能，并發(fā)訪問能力主要通擴展硬件得到提升，也可橫向增加節(jié)點過硬件縱向擴展提升，難以進行線性擴進行線性擴展展國內(nèi)外均有大量數(shù)百，上千節(jié)點的部署案例海量數(shù)據(jù)環(huán)境中，可聯(lián)機改變數(shù)據(jù)結(jié)構(gòu)Share-all集群架構(gòu)規(guī)模難以突破40節(jié)點海量數(shù)據(jù)環(huán)境下，改變數(shù)據(jù)結(jié)構(gòu)代價大，且影響業(yè)務(wù)訪問接口標準文件訪問接口（FTP，NFS等）完整的SQL訪問接口（ODBC/JDBC,部分兼容SQL92(ODBC/JDBC)專有客戶端等）NativeJAVA訪問接口Rest訪問接口Thrift訪問接口豐富的開發(fā)，集成，管理工具其它低廉的軟硬件成本，

9、完全開放架構(gòu)高昂的軟硬件成本無字符集選擇問題需要事先確定字符集支持基本權(quán)限管理和透明數(shù)據(jù)加密解密部分產(chǎn)品支持完善權(quán)限管理和透明數(shù)據(jù)以開源文檔為基礎(chǔ)，提供新增特性接口加密解密和使用說明完整的文檔4.2跟開源Hadoop對比分析浪潮云海大數(shù)據(jù)-體機直接使用開源Hadoop新型的Hadoop解決方案開源Hadoop一體化交付方案型產(chǎn)品，經(jīng)過系統(tǒng)優(yōu)化，實無相關(guān)經(jīng)驗，單純地進行硬件和軟件現(xiàn)了軟件、硬件的最優(yōu)性能環(huán)境的搭建全面測試的企業(yè)級發(fā)行版，保證長期穩(wěn)定運行，集成最新開源的和自行開發(fā)的補丁，用戶可以及時修正漏洞保證各個部件之間的一致性，使應(yīng)用順滑運行針對HDFS數(shù)據(jù)節(jié)點的讀寫選取提供高級均衡算法，提高

10、系統(tǒng)擴展性，適合不同配置服務(wù)器組成的集群簡單均衡算法，容易在慢速服務(wù)器或熱點服務(wù)器上產(chǎn)生讀寫瓶頸，最慢服務(wù)器成為系統(tǒng)性能瓶頸根據(jù)讀請求并發(fā)程度動態(tài)增加熱點數(shù)據(jù)的復制倍數(shù)，提高Map/Reduce任務(wù)擴展性無法自動擴充倍數(shù)功能，在集中讀取時擴展性不強，存在性能瓶頸為HDFS的NameNode提供雙機熱備方案，提高可靠性主NameNode節(jié)點失效時，自動切換到備用NameNodeNameNode是系統(tǒng)的單點破損點，一旦失效系統(tǒng)將無法讀寫實現(xiàn)跨區(qū)域數(shù)據(jù)中心的HBase超級大表，用戶應(yīng)用可實現(xiàn)位置透明的數(shù)據(jù)讀寫訪問和全局匯總統(tǒng)計允許跨多個物理數(shù)據(jù)中心建立分布式大表，突破單一數(shù)據(jù)中心由于空間和供電限制無

11、法建立超大集群的限制無此功能，無法進行跨數(shù)據(jù)中心部署可將HBase表復制到異地集群并提供單向、雙向復制功能，實現(xiàn)異地容災(zāi)沒有成熟的復制方案在HBase中，根據(jù)數(shù)據(jù)局部性、服務(wù)器Region數(shù)、表的Region數(shù)來實現(xiàn)負載均衡，適合多用戶共享集群創(chuàng)建多張大表的應(yīng)用只根據(jù)Region數(shù)量進行負載均衡，容易產(chǎn)生系統(tǒng)不均衡基于HBase的分布式聚合函數(shù)，比傳統(tǒng)方式提高10倍以上效率無成熟方案提供獨有的基于瀏覽器的集群安裝和管理界無圖形化管理界面面，解決開源版本管理困難的問題，提供網(wǎng)頁、郵件方式的系統(tǒng)異常報警完善的售后服務(wù)體系無售后服務(wù)五成功案例某城市智能交通系統(tǒng)項目背景年過車信息數(shù)據(jù)量達數(shù)百億級記錄規(guī)

12、模市局和區(qū)縣的數(shù)據(jù)中心兩級架構(gòu)，分布式存儲，集中管理。支持多條件組合快速查詢：卡口名稱、車道名稱、車輛類型、車牌類型、車牌號碼、車身顏色、車牌顏色、車速范圍、車長范圍、號牌段范圍、時間范圍。支持海量過車信息的模糊匹配檢索。支持各種統(tǒng)計分析、數(shù)據(jù)挖掘：車輛違章率統(tǒng)計、過車識別率統(tǒng)計、套牌分析、關(guān)聯(lián)性分析、黑名單等系統(tǒng)需求數(shù)據(jù)量（過車記錄+違章圖片+數(shù)據(jù)冗余+異地容災(zāi)）：6PB數(shù)據(jù)采集終端：12000個，寫入性能24000記錄/秒用戶數(shù)：1000過車記錄單個區(qū)數(shù)據(jù)中心全市數(shù)據(jù)總和每秒鐘6MB/S1200條記錄/s120MB/S24000條記錄/秒每小時20GB/hour432萬條/小時400GB/

13、hour8640萬條/小時每天480GB/day1億條/天9.6TB/day20億條/天每月14.4TB/month30億條/月288TB/month600億條/月三個月43.2TB/3months90億條/三個月0.8PB/3months1800億條/三個月違章車輛圖片數(shù)據(jù)單個區(qū)數(shù)據(jù)中心全市數(shù)據(jù)總和每小時1.8GB/h36GB/h每天43.2GB/day864GB/day每月1.2TB/month24TB/month三個月3.6TB/3months72TB/3months難點分析應(yīng)用服務(wù)器康豈1肪機100杲蘭城數(shù)據(jù)小心克聚數(shù)越宇應(yīng)用服務(wù)器康豈1肪機100杲蘭城數(shù)據(jù)小心克聚數(shù)越宇儲方案砸星均街

14、A31-Z悄京轉(zhuǎn)發(fā)粗臚Tr.血臨蜃淹適傳統(tǒng)數(shù)據(jù)庫方案潛在問題:初始投入和后期維護，擴展成本巨大人為分庫，靈活性差?；旌蠑?shù)據(jù)類型支持規(guī)模僅能支持單個區(qū)域中心應(yīng)用可靠性差，難以保證業(yè)務(wù)連續(xù)性代碼復雜系統(tǒng)可維護性浪潮云海大數(shù)據(jù)一體機解決方案*1曲呼CAnlrdFkiriuurSrtlriGl8DCinDiairiacMotileCPnlCsnrerggInDisrtelDZarrenMinDtEtncDDCiiiDiAInDklriaBrB9i-&TiRiriimc誨曲西砂屋殉阪*1曲呼CAnlrdFkiriuurSrtlriGl8DCinDiairiacMotileCPnlCsnrerggInDi

15、srtelDZarrenMinDtEtncDDCiiiDiAInDklriaBrB9i-&TiRiriimc誨曲西砂屋殉阪I昶p舊側(cè)M勺的，血冒乂inDislriclD拓撲圖拓撲圖內(nèi)容管理分布式藪據(jù)存儲層HBase(NO5CL)搜索引學內(nèi)存內(nèi)容管理分布式藪據(jù)存儲層HBase(NO5CL)搜索引學內(nèi)存加速實旳貌居處理引讐視頻智能分析引幣智能交通應(yīng)用技術(shù)方案規(guī)模、指標、特點該方案使用SDA-1、SDA-2，共計580節(jié)點集群性能：寫入100000條記錄/秒，20000主鍵查詢/秒系統(tǒng)特點：解決了海量過車信息（結(jié)構(gòu)文本+圖片）存儲問題解決了分布式數(shù)據(jù)查詢問題，應(yīng)用系統(tǒng)可以接入任何一個本地數(shù)據(jù)中心，并

16、訪問全庫數(shù)據(jù)系統(tǒng)提供了易于使用的API，方便進行二次開發(fā)系統(tǒng)做了較多優(yōu)化，性能很好的滿足了項目的實時性要求系統(tǒng)穩(wěn)定性強，建立在X86服務(wù)器平臺，自動進行數(shù)據(jù)遷移和數(shù)據(jù)恢復某省級運營商清帳單查詢系統(tǒng)有方案：小型機+存儲+Oracle成本高、擴展性差服務(wù)器采用P595的兩個分區(qū)（48CPU），部署不同的地市，互為主備；存儲使用2臺DS8300，RAID5方式，有效容量54TB數(shù)據(jù)量大，增長迅速，但數(shù)據(jù)庫的擴容工程施工風險高數(shù)據(jù)風險高災(zāi)難恢復依賴磁帶，業(yè)務(wù)中斷時間長效率低關(guān)系數(shù)據(jù)庫處理困難，查詢慢（超過15秒）關(guān)系數(shù)據(jù)庫入庫慢，常有清單文件積壓，不能實時入庫，從而不能實時查詢新清賬單中心方案茫件系統(tǒng)底層為浪潮提供的大數(shù)據(jù)解決方案平臺，上層由應(yīng)用開發(fā)商開發(fā)業(yè)務(wù)程序，對r外部阿絡(luò)茫件系統(tǒng)底層為浪潮提供的大數(shù)據(jù)解決方案平臺，上層由應(yīng)用開發(fā)商開發(fā)業(yè)務(wù)程序，對r外部阿絡(luò)1L入庫和查詢進行業(yè)務(wù)處理。這種架構(gòu)有效的屏蔽了底層的功能，對上層來說，只需要調(diào)研相關(guān)接口即可。數(shù)據(jù)的分發(fā)、復制、任務(wù)調(diào)度、容錯都是由系統(tǒng)軟件來控制。大規(guī)模的PC具備強大的處理能力和網(wǎng)絡(luò)帶寬，同時具備線性的橫向擴展能力。3份冗余的數(shù)據(jù)保證對硬件的