分布式與MPP 完整版

分布式與MPP大數(shù)據(jù)主流技術(shù)新興的分布式計(jì)算平臺(tái)，使用基于內(nèi)存的計(jì)算框架以提升性能，適用于迭代計(jì)算場景。同時(shí)提供應(yīng)用工具降低使用復(fù)雜度。主流大數(shù)據(jù)技術(shù)Hadoop技術(shù)Spark技術(shù)MPP數(shù)據(jù)庫流處理內(nèi)存數(shù)據(jù)庫NoSQL技術(shù)數(shù)據(jù)采集技術(shù)基于PCServer集群部署的并行關(guān)系型數(shù)據(jù)庫，針對(duì)分析型使用場景提供了大量技術(shù)優(yōu)化，以充分發(fā)揮關(guān)系數(shù)據(jù)庫的數(shù)據(jù)關(guān)聯(lián)分析能力和MPP架構(gòu)的性能優(yōu)勢(shì)。七大技術(shù)一種實(shí)時(shí)計(jì)算框架，基于數(shù)據(jù)流的分發(fā)、處理模式及時(shí)、高效處理數(shù)據(jù)。通過將數(shù)據(jù)存儲(chǔ)在內(nèi)存中以提高數(shù)據(jù)庫性能，同時(shí)通過額外的數(shù)據(jù)保護(hù)機(jī)制保障內(nèi)存數(shù)據(jù)庫安全通常指非關(guān)系型數(shù)據(jù)存儲(chǔ)和查詢技術(shù)，通過削減傳統(tǒng)關(guān)系型數(shù)據(jù)庫的部分特性，來提升特定類型處理性能的設(shè)計(jì)泛指在不同平臺(tái)間傳遞不同類型、格式數(shù)據(jù)的技術(shù)主流的分布式計(jì)算平臺(tái)，基于PCServer集群部署，提供分布式數(shù)據(jù)存儲(chǔ)、分布式計(jì)算框架。同時(shí)整個(gè)生態(tài)圈提供了大量外圍組件滿足各類應(yīng)用場景需求。分布式存儲(chǔ)與分布式計(jì)算MapReduce：分布計(jì)算HDFS：分布存儲(chǔ)分布式的CAP理論C:一致性(Consistency)在分布式系統(tǒng)中的所有的數(shù)據(jù)拷貝在同一時(shí)刻相同A:可用性(Availability)在部分節(jié)點(diǎn)故障后是否還能響應(yīng)客戶端讀寫請(qǐng)求P:分區(qū)容忍(PartitionTolerance)系統(tǒng)可繼續(xù)工作（讀和寫），即使當(dāng)某些節(jié)點(diǎn)無法與其它節(jié)點(diǎn)通信時(shí)Brewer的CAP理論在分布式架構(gòu)設(shè)計(jì)中只能三選二通常P是必須的，所以一個(gè)分布式系統(tǒng)只能在C和A之間權(quán)衡MPP數(shù)據(jù)庫定義MPP即大規(guī)模并行處理（MassivelyParallelProcessor）。在數(shù)據(jù)庫非共享集群中，每個(gè)節(jié)點(diǎn)都有獨(dú)立的磁盤存儲(chǔ)系統(tǒng)和內(nèi)存系統(tǒng)，業(yè)務(wù)數(shù)據(jù)根據(jù)數(shù)據(jù)庫模型和應(yīng)用特點(diǎn)劃分到各個(gè)節(jié)點(diǎn)上，每臺(tái)數(shù)據(jù)節(jié)點(diǎn)通過專用網(wǎng)絡(luò)或者商業(yè)通用網(wǎng)絡(luò)互相連接，彼此協(xié)同計(jì)算，作為整體提供數(shù)據(jù)庫服務(wù)。非共享數(shù)據(jù)庫集群有完全的可伸縮性、高可用、高性能、優(yōu)秀的性價(jià)比、資源共享等優(yōu)勢(shì)。對(duì)外網(wǎng)絡(luò)私有網(wǎng)絡(luò)內(nèi)部磁盤內(nèi)部磁盤內(nèi)部磁盤Node1CPURAMNode2CPURAMNode3CPURAM大規(guī)模并行處理(MPP)架構(gòu)HPVertica/TeradataVertica無共享MPP的特點(diǎn)無特殊節(jié)點(diǎn)所有節(jié)點(diǎn)對(duì)等可通過任意節(jié)點(diǎn)查詢或加載數(shù)據(jù)實(shí)時(shí)加載與查詢同步進(jìn)行DBServDBServDBServDBServ高速通信網(wǎng)絡(luò)磁盤磁盤磁盤磁盤MasterGreenplum

/NetezzaMaster-Slave架構(gòu)無共享架構(gòu)DBServDBServDBServDBServ高速通信網(wǎng)絡(luò)磁盤磁盤磁盤磁盤客戶機(jī)客戶機(jī)為什么選擇MPPPB級(jí)別的分析需求傳統(tǒng)數(shù)據(jù)庫無法支持大規(guī)模集群與PB級(jí)別數(shù)據(jù)量性能受限擴(kuò)展性受限成本高昂軟硬件一體機(jī)成本高昂、擴(kuò)展受限生產(chǎn)擴(kuò)容、測(cè)試、開發(fā)、容災(zāi)都需新購?fù)吞?hào)一體機(jī)（機(jī)柜）跨代兼容性問題In-memory技術(shù)太貴而且不成熟內(nèi)存成本高TB級(jí)別以下，不適合大數(shù)據(jù)量Hadoop技術(shù)的先天不足Hive等sql-on-hadoop性能太慢SQL兼容性與支持不足數(shù)據(jù)安全性無法保證分析數(shù)據(jù)庫的演變19701980200020102005200020031989SybaseIQ19782009SAPHANA201019791974IngresMichaelStonebraker19841982商用IngresSybase1990MSSQL1999200520061983DB2分析數(shù)據(jù)庫的演變1970198020002010200520002003198919782009SAPHANA201019791982商用Ingres1984Sybase1990MSSQLSybaseIQ19992005200620121983DB21974IngresMichaelStonebraker2011Hadoop大數(shù)據(jù)技術(shù)棧結(jié)構(gòu)化非結(jié)構(gòu)化擴(kuò)展能力OldSQLNoSQLMPP/NewSQL半結(jié)構(gòu)化ACID易用性O(shè)ldSQLvsNoSQLvsNewSQLvsHadoop常見MPP數(shù)據(jù)庫HPVerticaPivotalGreenPlumGbase–南大通用TDAsterNetezzaParAccel……11VerticaMPP特點(diǎn)50x–1000x性能提升TBs~PBs高可擴(kuò)展性與現(xiàn)有ETL和BI解決方案可輕松整合在工業(yè)標(biāo)準(zhǔn)x86服務(wù)器上具有超強(qiáng)性能快速靈活部署

內(nèi)嵌高可用標(biāo)準(zhǔn)SQL接口無共享MPP自動(dòng)優(yōu)化設(shè)計(jì)高級(jí)主動(dòng)壓縮純列式存儲(chǔ)大數(shù)據(jù)分析模型常見分布式并行處理架構(gòu)Real-TimeMessagingApacheKafka?Cluster

實(shí)時(shí)數(shù)據(jù)流

?機(jī)器學(xué)習(xí)

?

半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化非關(guān)系型化數(shù)據(jù)(Parquet/ORCfile)

結(jié)構(gòu)化關(guān)系型數(shù)據(jù)、匯總數(shù)據(jù)ResilientDistributedDatasets

ApacheSpark?Hadoop?Parquet?Cluster

???

RESTAPIOrLocalKafkaApplicati