浪潮云海大數(shù)據(jù)解決方案V3.0

1、浪潮（:!北京）電子信息產(chǎn)業(yè)有限公司浪潮（:!北京）電子信息產(chǎn)業(yè)有限公司 高可用性，建立在HDFS分布式文件系統(tǒng)之上。2.4Hive數(shù)據(jù)倉(cāng)庫(kù)Hive是一個(gè)建立在hadoop之上的數(shù)據(jù)倉(cāng)庫(kù)，用于查詢和分析結(jié)構(gòu)化海量數(shù)據(jù)-采用HDFS進(jìn)行數(shù)據(jù)存儲(chǔ)-采用Map/Reduce進(jìn)行數(shù)據(jù)操作基本特點(diǎn):-提供類似于SQL的查詢語(yǔ)言-高擴(kuò)展性(scale-out)，動(dòng)態(tài)擴(kuò)容無(wú)須停機(jī)-針對(duì)海量數(shù)據(jù)的高性能查詢和分析系統(tǒng)-提供靈活的擴(kuò)展性復(fù)雜數(shù)據(jù)類型，擴(kuò)展函數(shù)和腳本等三浪潮云海大數(shù)據(jù)一體機(jī)解決方案優(yōu)勢(shì)3.1高性能專用的大數(shù)據(jù)存儲(chǔ)服務(wù)器：針對(duì)大數(shù)據(jù)的應(yīng)用特點(diǎn)，浪潮憑借在服務(wù)器及存儲(chǔ)方面的領(lǐng)先優(yōu)勢(shì)，自主開發(fā)了大數(shù)據(jù)存

2、儲(chǔ)服務(wù)器，具備高密度、大容量存儲(chǔ)特性。胖節(jié)點(diǎn)加速方案:胖節(jié)點(diǎn)擁有英特爾至強(qiáng)平臺(tái)的最強(qiáng)性能、最大內(nèi)存、最高RAS特性保障。閃存加速技術(shù)：將閃存盤放在整個(gè)計(jì)算緩存里面做高速緩存，針對(duì)不同應(yīng)用類型，實(shí)現(xiàn)全局的算法，降低冗余率，使整個(gè)平臺(tái)的計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)大大提高運(yùn)行效率。高速通信網(wǎng)絡(luò)：通信網(wǎng)絡(luò)選用性能領(lǐng)先的萬(wàn)兆網(wǎng)絡(luò)或者IB網(wǎng)絡(luò)，實(shí)現(xiàn)一體機(jī)內(nèi)部的高速互聯(lián)，消除網(wǎng)絡(luò)瓶頸。軟件性能優(yōu)化IO瓶頸易于解決可以發(fā)揮大規(guī)模并行運(yùn)算優(yōu)勢(shì)支持大規(guī)模并行裝載，裝載前無(wú)需數(shù)據(jù)格式化，節(jié)點(diǎn)越多裝載速度越快優(yōu)化系統(tǒng)任務(wù)調(diào)度策略，對(duì)任務(wù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，動(dòng)態(tài)調(diào)整任務(wù)執(zhí)行資源，減少慢任務(wù)數(shù)量，提高整體性能taskIm皿tasksS

3、laviaj3時(shí)任督旳Hliik?Taskl1朝居tLSk4task2快節(jié)蟲抱詼優(yōu)可逼睦節(jié)點(diǎn)池節(jié)點(diǎn)葩taskIm皿tasksSlaviaj3時(shí)任督旳Hliik?Taskl1朝居tLSk4task2快節(jié)蟲抱詼優(yōu)可逼睦節(jié)點(diǎn)池節(jié)點(diǎn)葩未完康的Had未完康的HadtaLwkpool排虱府的Hnptaskpool3.2高可靠性服務(wù)器本身冗余特性：節(jié)點(diǎn)的硬盤、風(fēng)扇、電源等關(guān)鍵部件都是冗余設(shè)計(jì)，保障了節(jié)點(diǎn)本身的可靠性。鏈路冗余：網(wǎng)絡(luò)可實(shí)現(xiàn)物理冗余設(shè)計(jì)，避免單點(diǎn)故障對(duì)系統(tǒng)的影響。采用Reed-Solomon算法，優(yōu)化分布式散列數(shù)據(jù)布局，滿足文件高并發(fā)和高帶寬雙重需求同時(shí)平衡數(shù)據(jù)冗余度。采用兩副本加編碼的方式相對(duì)

4、三副本最大可實(shí)現(xiàn)30%空間節(jié)省。eoo:o.o一一蕙密一rIIIIIIIIIL一一蕙密一rIIIIIIIIILI1I|I11HIIM11I1IItL-（IIIIL一一1IL.11I層T!:兀余編碼賽副本存儲(chǔ)冗余編碼薦儲(chǔ)智能失敗任務(wù)識(shí)別：自動(dòng)將任務(wù)轉(zhuǎn)移到備份數(shù)據(jù)節(jié)點(diǎn)執(zhí)行，單個(gè)節(jié)點(diǎn)的故障不影響整個(gè)任務(wù)的執(zhí)行，有效應(yīng)對(duì)計(jì)算單元失效。3.3高性價(jià)比Hadoop的誕生本身就是為了在低成本的通用硬件集群上運(yùn)行分布式計(jì)算框浪潮云海大數(shù)據(jù)一體機(jī)具備優(yōu)異的線性可擴(kuò)展，滿足了未來(lái)業(yè)務(wù)量增長(zhǎng)的需求，有效保護(hù)了現(xiàn)有投資，降低總體CTO。3.4易本地管理平臺(tái)：每套大數(shù)據(jù)一體機(jī)中都配有本地管理平臺(tái)，使系統(tǒng)管理人員方便集中

5、控管一體機(jī)。遠(yuǎn)程集中管理平臺(tái)：HDFS配置界面舊腫刊匕SEf砂RtgponMajgrClW&Cfasr為餵3云*大然卿一休機(jī)少IntpurSm*rtO4ilBJippllairK*hF*N2fih：4iuceMZMKMtJtfHnHBsis*RiEMnMirslmFlush9ci2oeu幅wliBMi*血獨(dú)心I1hBuaCumLUflfiumK4屮u汕HEiasARnmBlocp.btjifapitfpmartinI衛(wèi)酣HBase配置界面監(jiān)控管理界面3.5專業(yè)化服務(wù)實(shí)施服務(wù)：云海大數(shù)據(jù)一體機(jī)會(huì)在出廠前進(jìn)行產(chǎn)品預(yù)裝及嚴(yán)格的可靠性測(cè)試，保障產(chǎn)品的品質(zhì)。產(chǎn)品實(shí)施實(shí)現(xiàn)客戶現(xiàn)場(chǎng)的一體化交付，真正做到插電

6、即用，極大地降低了客戶利用大數(shù)據(jù)的門檻。售后服務(wù)：浪潮建立了以山東濟(jì)南客戶服務(wù)總部為中心、其他各省、直轄市設(shè)立服務(wù)分中心的覆蓋全國(guó)的完備售后體系，所有客服工程師都是原廠經(jīng)驗(yàn)豐富的服務(wù)工程師。浪潮已經(jīng)連續(xù)九年獲得售后服務(wù)滿意度金獎(jiǎng)。競(jìng)爭(zhēng)性分析跟傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)對(duì)比分析機(jī)型浪潮云海大數(shù)據(jù)-體機(jī)OracleExadata體機(jī)類型新型的機(jī)型浪潮云海大數(shù)據(jù)-體機(jī)OracleExadata體機(jī)類型新型的Hadoop解決方案?jìng)鹘y(tǒng)關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）適用場(chǎng)景數(shù)據(jù)規(guī)模10TBEB規(guī)模數(shù)據(jù)規(guī)模TB以下結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化混合存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和處理和處理聯(lián)機(jī)交易應(yīng)用海量數(shù)據(jù)的ETL和數(shù)據(jù)挖掘分析應(yīng)用

7、GB級(jí)別的數(shù)據(jù)分析和ETL海量數(shù)據(jù)的高并發(fā)隨機(jī)訪問架構(gòu)無(wú)共享MPP架構(gòu)單一實(shí)例Share-all架構(gòu)可用性默認(rèn)二份數(shù)據(jù)冗余，用戶可依據(jù)需求進(jìn)大部分產(chǎn)品依賴RAID技術(shù)進(jìn)行數(shù)據(jù)冗行調(diào)整余備用元數(shù)據(jù)R點(diǎn)，故障后自動(dòng)切換大部分產(chǎn)品不具備數(shù)據(jù)自愈能力，需要數(shù)據(jù)損失后，可以在剩余機(jī)器上自愈數(shù)據(jù)備份故障節(jié)點(diǎn)作業(yè)可以轉(zhuǎn)移到其它節(jié)點(diǎn)節(jié)點(diǎn)故障后，SQL任務(wù)中斷，不能自動(dòng)無(wú)需第二方支持,HBase提供基于日志轉(zhuǎn)移的谷火解決方案部分主流商業(yè)數(shù)據(jù)庫(kù)，無(wú)需第二方支持提供基于日志的谷災(zāi)解決方案性能10瓶頸易于解決10瓶頸難以解決可以發(fā)揮大規(guī)模并行運(yùn)算優(yōu)勢(shì)難以發(fā)揮大規(guī)模并行運(yùn)算優(yōu)勢(shì)支持大規(guī)模并行裝載，節(jié)點(diǎn)越多裝載速裝載性能

8、有限，數(shù)據(jù)需要格式化度越快可擴(kuò)展性存儲(chǔ)能力，性能，并發(fā)訪問，既可縱向存儲(chǔ)能力，性能，并發(fā)訪問能力主要通擴(kuò)展硬件得到提升，也可橫向增加節(jié)點(diǎn)過硬件縱向擴(kuò)展提升，難以進(jìn)行線性擴(kuò)進(jìn)行線性擴(kuò)展展國(guó)內(nèi)外均有大量數(shù)百，上千節(jié)點(diǎn)的部署案例海量數(shù)據(jù)環(huán)境中，可聯(lián)機(jī)改變數(shù)據(jù)結(jié)構(gòu)Share-all集群架構(gòu)規(guī)模難以突破40節(jié)點(diǎn)海量數(shù)據(jù)環(huán)境下，改變數(shù)據(jù)結(jié)構(gòu)代價(jià)大，且影響業(yè)務(wù)訪問接口標(biāo)準(zhǔn)文件訪問接口（FTP，NFS等）完整的SQL訪問接口（ODBC/JDBC,部分兼容SQL92(ODBC/JDBC)專有客戶端等）NativeJAVA訪問接口Rest訪問接口Thrift訪問接口豐富的開發(fā)，集成，管理工具其它低廉的軟硬件成本，

9、完全開放架構(gòu)高昂的軟硬件成本無(wú)字符集選擇問題需要事先確定字符集支持基本權(quán)限管理和透明數(shù)據(jù)加密解密部分產(chǎn)品支持完善權(quán)限管理和透明數(shù)據(jù)以開源文檔為基礎(chǔ)，提供新增特性接口加密解密和使用說(shuō)明完整的文檔4.2跟開源Hadoop對(duì)比分析浪潮云海大數(shù)據(jù)-體機(jī)直接使用開源Hadoop新型的Hadoop解決方案開源Hadoop一體化交付方案型產(chǎn)品，經(jīng)過系統(tǒng)優(yōu)化，實(shí)無(wú)相關(guān)經(jīng)驗(yàn)，單純地進(jìn)行硬件和軟件現(xiàn)了軟件、硬件的最優(yōu)性能環(huán)境的搭建全面測(cè)試的企業(yè)級(jí)發(fā)行版，保證長(zhǎng)期穩(wěn)定運(yùn)行，集成最新開源的和自行開發(fā)的補(bǔ)丁，用戶可以及時(shí)修正漏洞保證各個(gè)部件之間的一致性，使應(yīng)用順滑運(yùn)行針對(duì)HDFS數(shù)據(jù)節(jié)點(diǎn)的讀寫選取提供高級(jí)均衡算法，提高

10、系統(tǒng)擴(kuò)展性，適合不同配置服務(wù)器組成的集群簡(jiǎn)單均衡算法，容易在慢速服務(wù)器或熱點(diǎn)服務(wù)器上產(chǎn)生讀寫瓶頸，最慢服務(wù)器成為系統(tǒng)性能瓶頸根據(jù)讀請(qǐng)求并發(fā)程度動(dòng)態(tài)增加熱點(diǎn)數(shù)據(jù)的復(fù)制倍數(shù)，提高M(jìn)ap/Reduce任務(wù)擴(kuò)展性無(wú)法自動(dòng)擴(kuò)充倍數(shù)功能，在集中讀取時(shí)擴(kuò)展性不強(qiáng)，存在性能瓶頸為HDFS的NameNode提供雙機(jī)熱備方案，提高可靠性主NameNode節(jié)點(diǎn)失效時(shí)，自動(dòng)切換到備用NameNodeNameNode是系統(tǒng)的單點(diǎn)破損點(diǎn)，一旦失效系統(tǒng)將無(wú)法讀寫實(shí)現(xiàn)跨區(qū)域數(shù)據(jù)中心的HBase超級(jí)大表，用戶應(yīng)用可實(shí)現(xiàn)位置透明的數(shù)據(jù)讀寫訪問和全局匯總統(tǒng)計(jì)允許跨多個(gè)物理數(shù)據(jù)中心建立分布式大表，突破單一數(shù)據(jù)中心由于空間和供電限制無(wú)

11、法建立超大集群的限制無(wú)此功能，無(wú)法進(jìn)行跨數(shù)據(jù)中心部署可將HBase表復(fù)制到異地集群并提供單向、雙向復(fù)制功能，實(shí)現(xiàn)異地容災(zāi)沒有成熟的復(fù)制方案在HBase中，根據(jù)數(shù)據(jù)局部性、服務(wù)器Region數(shù)、表的Region數(shù)來(lái)實(shí)現(xiàn)負(fù)載均衡，適合多用戶共享集群創(chuàng)建多張大表的應(yīng)用只根據(jù)Region數(shù)量進(jìn)行負(fù)載均衡，容易產(chǎn)生系統(tǒng)不均衡基于HBase的分布式聚合函數(shù)，比傳統(tǒng)方式提高10倍以上效率無(wú)成熟方案提供獨(dú)有的基于瀏覽器的集群安裝和管理界無(wú)圖形化管理界面面，解決開源版本管理困難的問題，提供網(wǎng)頁(yè)、郵件方式的系統(tǒng)異常報(bào)警完善的售后服務(wù)體系無(wú)售后服務(wù)五成功案例某城市智能交通系統(tǒng)項(xiàng)目背景年過車信息數(shù)據(jù)量達(dá)數(shù)百億級(jí)記錄規(guī)

12、模市局和區(qū)縣的數(shù)據(jù)中心兩級(jí)架構(gòu)，分布式存儲(chǔ)，集中管理。支持多條件組合快速查詢：卡口名稱、車道名稱、車輛類型、車牌類型、車牌號(hào)碼、車身顏色、車牌顏色、車速范圍、車長(zhǎng)范圍、號(hào)牌段范圍、時(shí)間范圍。支持海量過車信息的模糊匹配檢索。支持各種統(tǒng)計(jì)分析、數(shù)據(jù)挖掘：車輛違章率統(tǒng)計(jì)、過車識(shí)別率統(tǒng)計(jì)、套牌分析、關(guān)聯(lián)性分析、黑名單等系統(tǒng)需求數(shù)據(jù)量（過車記錄+違章圖片+數(shù)據(jù)冗余+異地容災(zāi)）：6PB數(shù)據(jù)采集終端：12000個(gè)，寫入性能24000記錄/秒用戶數(shù)：1000過車記錄單個(gè)區(qū)數(shù)據(jù)中心全市數(shù)據(jù)總和每秒鐘6MB/S1200條記錄/s120MB/S24000條記錄/秒每小時(shí)20GB/hour432萬(wàn)條/小時(shí)400GB/

13、hour8640萬(wàn)條/小時(shí)每天480GB/day1億條/天9.6TB/day20億條/天每月14.4TB/month30億條/月288TB/month600億條/月三個(gè)月43.2TB/3months90億條/三個(gè)月0.8PB/3months1800億條/三個(gè)月違章車輛圖片數(shù)據(jù)單個(gè)區(qū)數(shù)據(jù)中心全市數(shù)據(jù)總和每小時(shí)1.8GB/h36GB/h每天43.2GB/day864GB/day每月1.2TB/month24TB/month三個(gè)月3.6TB/3months72TB/3months難點(diǎn)分析應(yīng)用服務(wù)器康豈1肪機(jī)100杲蘭城數(shù)據(jù)小心克聚數(shù)越宇應(yīng)用服務(wù)器康豈1肪機(jī)100杲蘭城數(shù)據(jù)小心克聚數(shù)越宇儲(chǔ)方案砸星均街

14、A31-Z悄京轉(zhuǎn)發(fā)粗臚Tr.血臨蜃淹適傳統(tǒng)數(shù)據(jù)庫(kù)方案潛在問題:初始投入和后期維護(hù)，擴(kuò)展成本巨大人為分庫(kù)，靈活性差?；旌蠑?shù)據(jù)類型支持規(guī)模僅能支持單個(gè)區(qū)域中心應(yīng)用可靠性差，難以保證業(yè)務(wù)連續(xù)性代碼復(fù)雜系統(tǒng)可維護(hù)性浪潮云海大數(shù)據(jù)一體機(jī)解決方案*1曲呼CAnlrdFkiriuurSrtlriGl8DCinDiairiacMotileCPnlCsnrerggInDisrtelDZarrenMinDtEtncDDCiiiDiAInDklriaBrB9i-&TiRiriimc誨曲西砂屋殉阪*1曲呼CAnlrdFkiriuurSrtlriGl8DCinDiairiacMotileCPnlCsnrerggInDi

15、srtelDZarrenMinDtEtncDDCiiiDiAInDklriaBrB9i-&TiRiriimc誨曲西砂屋殉阪I昶p舊側(cè)M勺的，血冒乂inDislriclD拓?fù)鋱D拓?fù)鋱D內(nèi)容管理分布式藪據(jù)存儲(chǔ)層HBase(NO5CL)搜索引學(xué)內(nèi)存內(nèi)容管理分布式藪據(jù)存儲(chǔ)層HBase(NO5CL)搜索引學(xué)內(nèi)存加速實(shí)旳貌居處理引讐視頻智能分析引幣智能交通應(yīng)用技術(shù)方案規(guī)模、指標(biāo)、特點(diǎn)該方案使用SDA-1、SDA-2，共計(jì)580節(jié)點(diǎn)集群性能：寫入100000條記錄/秒，20000主鍵查詢/秒系統(tǒng)特點(diǎn)：解決了海量過車信息（結(jié)構(gòu)文本+圖片）存儲(chǔ)問題解決了分布式數(shù)據(jù)查詢問題，應(yīng)用系統(tǒng)可以接入任何一個(gè)本地?cái)?shù)據(jù)中心，并

16、訪問全庫(kù)數(shù)據(jù)系統(tǒng)提供了易于使用的API，方便進(jìn)行二次開發(fā)系統(tǒng)做了較多優(yōu)化，性能很好的滿足了項(xiàng)目的實(shí)時(shí)性要求系統(tǒng)穩(wěn)定性強(qiáng)，建立在X86服務(wù)器平臺(tái)，自動(dòng)進(jìn)行數(shù)據(jù)遷移和數(shù)據(jù)恢復(fù)某省級(jí)運(yùn)營(yíng)商清帳單查詢系統(tǒng)有方案：小型機(jī)+存儲(chǔ)+Oracle成本高、擴(kuò)展性差服務(wù)器采用P595的兩個(gè)分區(qū)（48CPU），部署不同的地市，互為主備；存儲(chǔ)使用2臺(tái)DS8300，RAID5方式，有效容量54TB數(shù)據(jù)量大，增長(zhǎng)迅速，但數(shù)據(jù)庫(kù)的擴(kuò)容工程施工風(fēng)險(xiǎn)高數(shù)據(jù)風(fēng)險(xiǎn)高災(zāi)難恢復(fù)依賴磁帶，業(yè)務(wù)中斷時(shí)間長(zhǎng)效率低關(guān)系數(shù)據(jù)庫(kù)處理困難，查詢慢（超過15秒）關(guān)系數(shù)據(jù)庫(kù)入庫(kù)慢，常有清單文件積壓，不能實(shí)時(shí)入庫(kù)，從而不能實(shí)時(shí)查詢新清賬單中心方案茫件系統(tǒng)底層為浪潮提供的大數(shù)據(jù)解決方案平臺(tái)，上層由應(yīng)用開發(fā)商開發(fā)業(yè)務(wù)程序，對(duì)r外部阿絡(luò)茫件系統(tǒng)底層為浪潮提供的大數(shù)據(jù)解決方案平臺(tái)，上層由應(yīng)用開發(fā)商開發(fā)業(yè)務(wù)程序，對(duì)r外部阿絡(luò)1L入庫(kù)和查詢進(jìn)行業(yè)務(wù)處理。這種架構(gòu)有效的屏蔽了底層的功能，對(duì)上層來(lái)說(shuō)，只需要調(diào)研相關(guān)接口即可。數(shù)據(jù)的分發(fā)、復(fù)制、任務(wù)調(diào)度、容錯(cuò)都是由系統(tǒng)軟件來(lái)控制。大規(guī)模的PC具備強(qiáng)大的處理能力和網(wǎng)絡(luò)帶寬，同時(shí)具備線性的橫向擴(kuò)展能力。3份冗余的數(shù)據(jù)保證對(duì)硬件的