浪潮云海Insight 分布式并行數(shù)據(jù)庫（MPP）技術(shù)白皮書

浪潮云海InsightMPPV4技術(shù)白皮書浪潮云海Insight分布式并行數(shù)據(jù)庫（MPP）技術(shù)白皮書版本：V4.0

尊敬的用戶：衷心感謝您選用了浪潮云海Insight產(chǎn)品！本文檔介紹了浪潮云海Insight產(chǎn)品的功能、技術(shù)規(guī)格等，可使用戶更好地了解本產(chǎn)品的各種特性，充分發(fā)揮本產(chǎn)品的作用。浪潮擁有本文檔的版權(quán)。未經(jīng)浪潮許可，任何單位和個(gè)人不得以任何形式復(fù)制文檔內(nèi)容的部分或全部。浪潮保留隨時(shí)修改本文檔的權(quán)利。本文檔中的內(nèi)容如有變動(dòng)恕不另行通知。如果您對本文檔有疑問或建議，請向浪潮垂詢。浪潮

目錄TOC\o"1-5"\h\z\u第一章產(chǎn)品概述 11.1需求及背景 11.2產(chǎn)品定位 11.3產(chǎn)品價(jià)值 21.4產(chǎn)品特性 21.5產(chǎn)品應(yīng)用場景 31.5.1批處理ETL 31.5.2在線服務(wù)應(yīng)用 4第二章總體架構(gòu) 52.1架構(gòu)圖 52.2組件說明 5第三章產(chǎn)品功能 73.1.1ZooKeeper 73.1.1.1功能描述 73.1.1.2架構(gòu)原理 83.1.1.3特性 93.1.2Greenplum 93.1.2.1功能描述 93.1.2.2架構(gòu)原理 103.1.2.3特性 11第四章對外接口 13第五章規(guī)格指標(biāo) 14第六章部署規(guī)劃 15產(chǎn)品概述需求及背景為了應(yīng)對行業(yè)轉(zhuǎn)型和產(chǎn)業(yè)升級(jí)的需要，政府和企業(yè)客戶開始越來越多的向大數(shù)據(jù)運(yùn)營模式轉(zhuǎn)型，將MPP（MassivelyParallelProcessing）技術(shù)平臺(tái)引入到IT建設(shè)中，使其逐步成為IT系統(tǒng)中核心級(jí)、平臺(tái)級(jí)的組成部分。而開源版本的MPP架構(gòu)的Greenplum，各個(gè)組件更新升級(jí)頻繁，品質(zhì)不穩(wěn)定，缺乏技術(shù)支持，距離落地為企業(yè)級(jí)產(chǎn)品仍然有很大差距。這些問題會(huì)導(dǎo)致整個(gè)大數(shù)據(jù)基礎(chǔ)環(huán)境總體穩(wěn)定性和性能指標(biāo)不高，總體擁有成本不低反高。浪潮基于豐富的行業(yè)大數(shù)據(jù)實(shí)踐經(jīng)驗(yàn)，選擇符合主流技術(shù)發(fā)展方向的開源組件，并進(jìn)行功能增強(qiáng)、性能優(yōu)化、統(tǒng)一管理、安全保障等，發(fā)布了企業(yè)級(jí)大數(shù)據(jù)平臺(tái)云海InsightMPP。云海InsightMPP交付了MPP的核心元素——可擴(kuò)展的存儲(chǔ)和分布式的計(jì)算，以及所有必需的企業(yè)級(jí)支持能力比如安全、高可用性和廣泛的硬件軟件方案相集成。對那些尋找一個(gè)穩(wěn)定的、有歷史經(jīng)驗(yàn)證明的及開源的大數(shù)據(jù)管理方案，并且避免專有供應(yīng)商鎖定的政府部門或企業(yè)單位來說，云海InsightMPP是使得其用戶組織既可以在生產(chǎn)中可靠地使用MPP，同時(shí)又可以從開源社區(qū)借助到持續(xù)無窮創(chuàng)新的最佳方案。產(chǎn)品定位云海InsightMPP是MPP發(fā)行版，提供政府或企業(yè)大數(shù)據(jù)處理環(huán)境，無縫集成了MPP架構(gòu)的Greenplum組件，提供PB級(jí)海量數(shù)據(jù)存儲(chǔ)、查詢、分析和挖掘能力。作為業(yè)界領(lǐng)先的企業(yè)級(jí)分布式大數(shù)據(jù)處理環(huán)境，云海InsightMPP除了包含業(yè)界流行的基于開源Greenplum及其生態(tài)組件構(gòu)建的核心，還包含了很多為支撐企業(yè)級(jí)業(yè)務(wù)的高級(jí)管理特性。借助于云海InsightMPP成熟的整體方案，政府或企業(yè)可以放心將數(shù)據(jù)整合在云海InsightMPP進(jìn)行數(shù)據(jù)創(chuàng)新，進(jìn)而專注于自己的業(yè)務(wù)能力。產(chǎn)品價(jià)值云海InsightMPP以Greenplum生態(tài)體系為主線，通過構(gòu)建大規(guī)模分布式存儲(chǔ)與計(jì)算集群，實(shí)現(xiàn)政府或企業(yè)用戶內(nèi)外部多源信息的融合采集、數(shù)據(jù)組織與管理、數(shù)據(jù)存儲(chǔ)與計(jì)算等處理過程，深度挖掘海量數(shù)據(jù)的全新價(jià)值并實(shí)現(xiàn)海量數(shù)據(jù)的高效分析與利用。通過跨區(qū)域、跨部門、全業(yè)務(wù)聯(lián)動(dòng)、多信息軌跡即時(shí)跟蹤和信息共享，全面提升數(shù)據(jù)共享和信息聯(lián)動(dòng)運(yùn)轉(zhuǎn)效率，進(jìn)一步為用戶業(yè)務(wù)管理、預(yù)警監(jiān)測、宏觀決策等方面提供強(qiáng)有力的信息化支撐。從宏觀層面，將有利于快速促進(jìn)我省大數(shù)據(jù)的發(fā)展，結(jié)合國家深入推進(jìn)的“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃，實(shí)現(xiàn)為眾行業(yè)、多區(qū)域、廣企業(yè)等提供大數(shù)據(jù)支撐，有利于推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)與應(yīng)用行業(yè)形成融合發(fā)展的新模式，實(shí)現(xiàn)更多商業(yè)創(chuàng)新。通過多源數(shù)據(jù)融合與“互聯(lián)網(wǎng)+”的交叉運(yùn)用，打造大數(shù)據(jù)運(yùn)營生態(tài)環(huán)境，促進(jìn)我省信息產(chǎn)業(yè)快速轉(zhuǎn)型升級(jí)，推進(jìn)跨界融合發(fā)展，形成我國新的產(chǎn)業(yè)發(fā)展模式，拉動(dòng)社會(huì)就業(yè)，培養(yǎng)大數(shù)據(jù)人才，打造新的經(jīng)濟(jì)增長點(diǎn)。產(chǎn)品特性云海InsightMPP將MPP無共享架構(gòu)的Greenplum生態(tài)系統(tǒng)的力量帶給客戶，產(chǎn)品具有如下關(guān)鍵特性：靈活性可以存儲(chǔ)任意類型的數(shù)據(jù)并可以使用多種不同的處理框架對數(shù)據(jù)進(jìn)行處理，如批處理、交互式SQL、文本查詢、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析計(jì)算。集成化快速建立并快速運(yùn)行于一個(gè)完整的包裝好的基于Greenplum的系統(tǒng)。安全性方便處理和控制敏感的數(shù)據(jù)，提供多租戶的運(yùn)行保護(hù)機(jī)制?？蓴U(kuò)展為廣泛的應(yīng)用提供運(yùn)行設(shè)施，并隨著業(yè)務(wù)成長支持靈活彈性擴(kuò)展。高可用可以應(yīng)對多任務(wù)高負(fù)載的應(yīng)用場景，保證集群的穩(wěn)定。支持主備集群的雙活容災(zāi)，主備集群可同時(shí)對外提供服務(wù)，其中主集群可支持讀寫、續(xù)寫服務(wù)，備集群僅支持讀服務(wù)。兼容性擴(kuò)充和利用現(xiàn)有的基礎(chǔ)架構(gòu)，保護(hù)投資。開放性受益于高速的創(chuàng)新，并且無需受制于專有供應(yīng)商的鎖定。產(chǎn)品應(yīng)用場景大數(shù)據(jù)的典型應(yīng)用場景主要有：批處理(ETL)在線服務(wù)批處理ETL批處理的特點(diǎn)是處理時(shí)間窗口比較長，通常輸入輸出的數(shù)據(jù)量都比較大，諸如數(shù)據(jù)的裝載、轉(zhuǎn)換以及清洗等等。批處理的數(shù)據(jù)源一般會(huì)來自于傳統(tǒng)的OLTP系統(tǒng)、數(shù)據(jù)倉庫、客戶關(guān)系庫或是一些線上的應(yīng)用服務(wù)器。MPP架構(gòu)的Greenplum是一個(gè)可以并行計(jì)算的大數(shù)據(jù)平臺(tái)，它為商業(yè)智能（BusinessIntelligence）和決策提供數(shù)據(jù)分析引擎。工作模式為：從不同的原始數(shù)據(jù)源集中匯總數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行分析和計(jì)算，以及幫助上層BI應(yīng)用生成報(bào)表。Greenplum的ETL工具GPLOAD，除了滿足高速數(shù)據(jù)加載的需求外，還可以完成很多數(shù)據(jù)轉(zhuǎn)換操作。GPLOAD是基于GPFDIST的加載工具，用戶只需要在yaml配置文件中描述需要的任務(wù)（源數(shù)據(jù)位置、格式、目標(biāo)表信息及控制參數(shù)等），就可由GPLOAD完成具體的加載工作。具體工作流程圖如下：在線服務(wù)應(yīng)用與傳統(tǒng)的在線應(yīng)用相比，基于Greenplum的方案優(yōu)勢在于：良好的水平可擴(kuò)展性、高可靠性及高并發(fā)性。在線應(yīng)用的數(shù)據(jù)源主要有兩種：一種是存量數(shù)據(jù)，來源于DW或者一些備份庫上；還有一種來自于線上系統(tǒng)實(shí)時(shí)產(chǎn)生的數(shù)據(jù)。對于存量數(shù)據(jù)通過批處理引擎加載進(jìn)Greenplum庫。對于實(shí)時(shí)數(shù)據(jù)，Greenplum通過實(shí)時(shí)的數(shù)據(jù)加載方式，實(shí)現(xiàn)數(shù)據(jù)倉庫的實(shí)時(shí)更新，進(jìn)而實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)倉庫（ADW）。總體架構(gòu)架構(gòu)圖組件說明InsightMPP包含Manager和眾多組件，分別提供功能如下：Manager為InsightMPP提供高可靠、安全、容錯(cuò)、易用的集群管理能力，支持大規(guī)模集群的安裝部署、監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管理、健康檢查、問題定位、升級(jí)、補(bǔ)丁等。ZooKeeper提供分布式、高可用性的協(xié)調(diào)服務(wù)能力。幫助系統(tǒng)避免單點(diǎn)故障，從而建立可靠的應(yīng)用程序。Greenplum采用MPP并行處理架構(gòu)，由很多個(gè)數(shù)據(jù)節(jié)點(diǎn)（SegmentHost）和控制節(jié)點(diǎn)（MasterHost）組成，其中每個(gè)數(shù)據(jù)節(jié)點(diǎn)可運(yùn)行多個(gè)數(shù)據(jù)庫?；趯o共享（Shared-Nothing）分布式架構(gòu)模式的分析，可以高效處理I/O數(shù)據(jù)吞吐和并發(fā)計(jì)算。Greenplum是高可用系統(tǒng)，對于數(shù)據(jù)節(jié)點(diǎn)，提供Mirror機(jī)制保護(hù)，將每個(gè)節(jié)點(diǎn)的數(shù)據(jù)在另外的節(jié)點(diǎn)中同步鏡像，單個(gè)節(jié)點(diǎn)的錯(cuò)誤不影響整個(gè)系統(tǒng)的使用。對于主節(jié)點(diǎn)，提供Master/Standby機(jī)制進(jìn)行主節(jié)點(diǎn)容錯(cuò)，當(dāng)主節(jié)點(diǎn)發(fā)生錯(cuò)誤時(shí)，可切換到Standby節(jié)點(diǎn)繼續(xù)服務(wù)。Greenplum可通過增加節(jié)點(diǎn)線性提高系統(tǒng)的存儲(chǔ)容量和處理能力，使用戶可根據(jù)實(shí)施需要進(jìn)行容量和性能的擴(kuò)展。產(chǎn)品功能ZooKeeper功能描述ZooKeeper可為大型分布式計(jì)算提供開源的分布式配置服務(wù)、同步服務(wù)和命名注冊等功能。其目標(biāo)是封裝復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。它主要提供以下功能:數(shù)據(jù)訂閱/發(fā)布發(fā)布者將數(shù)據(jù)發(fā)布到ZooKeeper的一個(gè)或一系列節(jié)點(diǎn)上，供訂閱者進(jìn)行數(shù)據(jù)訂閱，進(jìn)而達(dá)到動(dòng)態(tài)獲取數(shù)據(jù)的目的，從而實(shí)現(xiàn)配置信息的集中式管理和數(shù)據(jù)的動(dòng)態(tài)更新。負(fù)載均衡分布式系統(tǒng)具有對等性，為了保證系統(tǒng)的高可用性，通常采用副本的方式來對數(shù)據(jù)和服務(wù)進(jìn)行部署。對消費(fèi)者而言，則需要在這些對等的服務(wù)提供方中選擇一個(gè)來執(zhí)行相關(guān)的業(yè)務(wù)邏輯，ZooKeeper則很好的解決了這個(gè)問題。命名服務(wù)在分布式系統(tǒng)中，通過使用命名服務(wù)，客戶端應(yīng)用能夠根據(jù)指定名字來獲取資源或服務(wù)的地址，提供者等信息。被命名的實(shí)體通?？梢允羌褐械臋C(jī)器，提供的服務(wù)地址，遠(yuǎn)程對象等等——這些都可以統(tǒng)稱為名字（Name）。其中較為常見的就是一些分布式服務(wù)框架中的服務(wù)地址列表。通過調(diào)用ZooKeeper提供的創(chuàng)建節(jié)點(diǎn)的API，能夠創(chuàng)建一個(gè)全局唯一的path，這個(gè)path就可以作為一個(gè)Name。集群管理客戶端如果對ZooKeeper的一個(gè)數(shù)據(jù)節(jié)點(diǎn)注冊Watcher監(jiān)聽，那么當(dāng)該數(shù)據(jù)節(jié)點(diǎn)的內(nèi)容或者其子節(jié)點(diǎn)的列表發(fā)生變更時(shí)，ZooKeeper服務(wù)器就會(huì)向訂閱的客戶端發(fā)送變更通知。而對在ZooKeeper上創(chuàng)建的臨時(shí)節(jié)點(diǎn)，一旦客戶端與服務(wù)器之間的會(huì)話失效，那么該臨時(shí)節(jié)點(diǎn)也就被自動(dòng)清除。分布式鎖有了ZooKeeper的一致性文件系統(tǒng)，鎖的問題變得容易。鎖服務(wù)可以分為兩類，一個(gè)是保持獨(dú)占，另一個(gè)是控制時(shí)序。對于第一類，將ZooKeeper上的一個(gè)znode看作是一把鎖，通過createznode的方式來實(shí)現(xiàn)。所有客戶端都去創(chuàng)建/distribute_lock節(jié)點(diǎn)，最終成功創(chuàng)建的那個(gè)客戶端也即擁有了這把鎖。用完刪除掉自己創(chuàng)建的distribute_lock節(jié)點(diǎn)就釋放出鎖。對于第二類，/distribute_lock已經(jīng)預(yù)先存在，所有客戶端在它下面創(chuàng)建臨時(shí)順序編號(hào)目錄節(jié)點(diǎn)，和選master一樣，編號(hào)最小的獲得鎖，用完刪除。架構(gòu)原理ZooKeeper中的角色主要有三種，如下表所示：角色描述領(lǐng)導(dǎo)者（Leader）領(lǐng)導(dǎo)者進(jìn)行投票的發(fā)起和決議，更新系統(tǒng)狀態(tài)學(xué)習(xí)（Learner）跟隨者（Follower）Follower用于接收客戶請求并向客戶端返回結(jié)果，在選主過程中參與投票觀察者（Observer）Observer可以接收客戶端連接，將寫請求轉(zhuǎn)發(fā)給leader節(jié)點(diǎn)。但Observer不參加投票過程，只同步leader的狀態(tài)。Observer的目的是為了擴(kuò)展系統(tǒng)，提高讀取速度客戶端（Client）請求發(fā)起方系統(tǒng)模型如圖所示：一個(gè)ZooKeeper集群通常由一組機(jī)器組成，一般3-5臺(tái)機(jī)器就可以組成一個(gè)可用的ZooKeeper集群了。組成ZooKeeper集群的每臺(tái)機(jī)器都會(huì)在內(nèi)存中維護(hù)當(dāng)前服務(wù)器狀態(tài)，并且每臺(tái)機(jī)器之間都保持著通信。只要集群中存在超過一半的機(jī)器能夠正常工作，那么整個(gè)集群就能正常對外服務(wù)。ZooKeeper的客戶端程序會(huì)選擇和集群中任意一臺(tái)機(jī)器共同創(chuàng)建一個(gè)TCP連接，一旦客戶端和某臺(tái)ZooKeeper服務(wù)器之間的連接斷開后，客戶端會(huì)自動(dòng)連接到集群中的其他機(jī)器。特性1.高可用在ZooKeeper集群中，讀可以從任意一個(gè)ZooKeeperServer讀，寫的請求會(huì)先提交到Leader，然后由Leader來通過ZooKeeper中的原子廣播協(xié)議，將請求廣播給所有的Follower，Leader收到一半以上的寫成功的ACK后，就認(rèn)為該寫操作成功了，就會(huì)將該寫操作進(jìn)行持久化，并告訴客戶端寫成功了。2.WAL和Snapshot對于每一個(gè)更新操作，ZooKeeper都會(huì)先寫WAL,然后再對內(nèi)存中的數(shù)據(jù)做更新，然后向Client通知更新結(jié)果。另外，ZooKeeper還會(huì)定期將內(nèi)存中的目錄樹進(jìn)行Snapshot，保存到磁盤上。這么做的主要目的，一是數(shù)據(jù)的持久化，二是加快重啟之后的恢復(fù)速度。3.有序ZooKeeper使用時(shí)間戳來記錄導(dǎo)致狀態(tài)變更的事務(wù)性操作，也就是說，一組事務(wù)通過時(shí)間戳來保證有序性?；谶@一特性。ZooKeeper可以實(shí)現(xiàn)更加高級(jí)的抽象操作，如同步等。Greenplum功能描述Greenplum數(shù)據(jù)庫是一種大規(guī)模并行處理（MPP）數(shù)據(jù)庫服務(wù)器，其架構(gòu)特別針對管理大規(guī)模分析型數(shù)據(jù)倉庫以及商業(yè)智能工作負(fù)載而設(shè)計(jì)。MPP（也被稱為sharednothing架構(gòu)）指有兩個(gè)或者更多個(gè)處理器協(xié)同執(zhí)行一個(gè)操作的系統(tǒng)，每一個(gè)處理器都有其自己的內(nèi)存、操作系統(tǒng)和磁盤。Greenplum使用這種高性能系統(tǒng)架構(gòu)來分布數(shù)T字節(jié)數(shù)據(jù)倉庫的負(fù)載并且能夠使用系統(tǒng)的所有資源并行處理一個(gè)查詢。Greenplum數(shù)據(jù)庫是基于PostgreSQL開源技術(shù)的。它本質(zhì)上是多個(gè)PostgreSQL面向磁盤的數(shù)據(jù)庫實(shí)例一起工作形成的一個(gè)緊密結(jié)合的數(shù)據(jù)庫管理系統(tǒng)（DBMS）。它基于PostgreSQL8.3.23開發(fā)，其SQL支持、特性、配置選項(xiàng)和最終用戶功能在大部分情況下和PostgreSQL非常相似。與Greenplum數(shù)據(jù)庫交互的數(shù)據(jù)庫用戶會(huì)感覺在使用一個(gè)常規(guī)的PostgreSQLDBMS。架構(gòu)原理Greenplum架構(gòu)GreenplumMasterGreenplum數(shù)據(jù)庫的Master是整個(gè)Greenplum數(shù)據(jù)庫系統(tǒng)的入口，它接受連接和SQL查詢并且把工作分布到Segment實(shí)例上。Master是全局系統(tǒng)目錄的所在地。全局系統(tǒng)目錄是一組包含了有關(guān)Greenplum數(shù)據(jù)庫系統(tǒng)本身的元數(shù)據(jù)的系統(tǒng)表。Master上不包含任何用戶數(shù)據(jù)，數(shù)據(jù)只存在于Segment之上。Master會(huì)認(rèn)證客戶端連接、處理到來的SQL命令、在Segment之間分布工作負(fù)載、協(xié)調(diào)每一個(gè)Segment返回的結(jié)果以及把最終結(jié)果呈現(xiàn)給客戶端程序。GreenplumSegmentGreenplum數(shù)據(jù)庫的Segment實(shí)例是獨(dú)立的PostgreSQL數(shù)據(jù)庫，每一個(gè)都存儲(chǔ)了數(shù)據(jù)的一部分并且執(zhí)行查詢處理的主要部分。當(dāng)一個(gè)用戶通過Greenplum的Master連接到數(shù)據(jù)庫并且發(fā)出一個(gè)查詢時(shí)，在每一個(gè)Segment數(shù)據(jù)庫上都會(huì)創(chuàng)建一些進(jìn)程來處理該查詢的工作。用戶定義的表及其索引會(huì)分布在Greenplum數(shù)據(jù)庫系統(tǒng)中可用的Segment上，每一個(gè)Segment都包含數(shù)據(jù)的不同部分。服務(wù)于Segment數(shù)據(jù)的數(shù)據(jù)庫服務(wù)器進(jìn)程運(yùn)行在相應(yīng)的Segment實(shí)例之下。用戶通過Master與一個(gè)Greenplum數(shù)據(jù)庫系統(tǒng)中的Segment交互。GreenplumInterconnectInterconnect是Greenplum數(shù)據(jù)庫架構(gòu)中的網(wǎng)絡(luò)層,主要負(fù)責(zé)查詢執(zhí)行過程中所有Segment實(shí)例之間以及Segment和Master之間的數(shù)據(jù)通信。GreenplumStandbyMasterStandbyMaster是Master節(jié)點(diǎn)的備份節(jié)點(diǎn)，通常部署在與Master不同的物理節(jié)點(diǎn)上。Master節(jié)點(diǎn)不是存儲(chǔ)用戶數(shù)據(jù)，當(dāng)數(shù)據(jù)庫元數(shù)據(jù)信息有更新時(shí)，這些變化會(huì)自動(dòng)同步到StandbyMaster節(jié)點(diǎn)以保證元信息的一致性。當(dāng)Master節(jié)點(diǎn)出現(xiàn)故障而無法恢復(fù)時(shí)，StandbyMaster節(jié)點(diǎn)可以被激活而成為新的Master節(jié)點(diǎn)。GreenplumMirrorSegment每一個(gè)Segment節(jié)點(diǎn)可以部署一個(gè)MirrorSegment節(jié)點(diǎn)，此時(shí)原有的Segment節(jié)點(diǎn)稱為PrimarySegment節(jié)點(diǎn)。當(dāng)PrimarySegment節(jié)點(diǎn)接收Master節(jié)點(diǎn)的查詢請求并需要修改用戶數(shù)據(jù)時(shí)，對應(yīng)的數(shù)據(jù)變化會(huì)復(fù)制到相應(yīng)的MirrorSegment節(jié)點(diǎn)上。在查詢執(zhí)行過程中，一旦PrimarySegment不可用，查詢計(jì)劃會(huì)重新分發(fā)到MirrorSegmen節(jié)點(diǎn)以保證返回正確的查詢結(jié)果。特性超大規(guī)模和高性能Greenplum數(shù)據(jù)庫采用大規(guī)模無共享處理結(jié)構(gòu)，將多臺(tái)服務(wù)器組成一個(gè)強(qiáng)大的計(jì)算平臺(tái)，實(shí)現(xiàn)高效的海量并行計(jì)算。高可用性Greenplum提供多級(jí)容錯(cuò)機(jī)制確保整個(gè)系統(tǒng)的高可用性。主節(jié)點(diǎn)Master通過StandbyMaster進(jìn)行備份，每個(gè)數(shù)據(jù)節(jié)點(diǎn)PrimarySegment分別配置一個(gè)MirrorSegment節(jié)點(diǎn)進(jìn)行備份，同時(shí)確保同一組PrimarySegment與MirrorSegment節(jié)點(diǎn)不在同一物理機(jī)，從而降低由于宕機(jī)而導(dǎo)致數(shù)據(jù)丟失的風(fēng)險(xiǎn)。通用性Greenplum數(shù)據(jù)庫擁有完善的SQL標(biāo)準(zhǔn)支持。多態(tài)存儲(chǔ)Greenplum數(shù)據(jù)庫提供“多態(tài)存儲(chǔ)”的靈活存儲(chǔ)方式。用戶可以根據(jù)數(shù)據(jù)熱度或者訪問模式的不同而使用不同的存儲(chǔ)方式，以獲得更好的查詢性能。支持的存儲(chǔ)方式a)行存儲(chǔ)b)列存儲(chǔ)c)外部表高擴(kuò)展性和高效資源管理得益于MPP的無共享結(jié)構(gòu)，Greenplum數(shù)據(jù)庫具有良好的、線性的在線擴(kuò)展能力。事務(wù)支持支持分布式事務(wù)，支持ACID。保證數(shù)據(jù)的強(qiáng)一致性。有效數(shù)據(jù)加載Greenplum數(shù)據(jù)庫利用MPP架構(gòu)可以高效地并行加載數(shù)據(jù)，即允許數(shù)據(jù)從多個(gè)文件系統(tǒng)通過多個(gè)主機(jī)的多個(gè)網(wǎng)卡進(jìn)行加載，從而達(dá)到非常高的數(shù)據(jù)傳輸率。高級(jí)數(shù)據(jù)分析Greenplum數(shù)據(jù)庫支持各種過程化編程語言，包括PL/PostgreSQL、PL/R、PL/Python、PL/Java、PL/Perl等語言擴(kuò)展。對外接口組件名支持的接口類型ZooKeeperJava、CLIManagerREST、SNMP、SyslogGreenplumCLI、REST、Java、Python、PHP、C兼容性CPU兼容性列表序號(hào)廠商CPU系列架構(gòu)1Intel至強(qiáng)系列，Xeon5X、Xeon6X等X862飛騰FT-1500A、FT-2000+ARM3華為鯤鵬系列ARM操作系統(tǒng)兼容性列表序號(hào)操作系統(tǒng)1C