數(shù)據(jù)倉庫產(chǎn)品優(yōu)缺點(diǎn)分析

1、數(shù)據(jù)倉庫產(chǎn)品優(yōu)缺點(diǎn)分析數(shù)據(jù)倉庫產(chǎn)品優(yōu)缺點(diǎn)分析簡介簡介 本文主要對(duì)目前國內(nèi)市場上幾種主流的數(shù)據(jù)倉庫數(shù)據(jù)庫產(chǎn)品，通過網(wǎng)絡(luò)資料以及個(gè)人經(jīng)驗(yàn)做一個(gè)簡單的分析，從中可以較客觀地得出各數(shù)據(jù)倉庫產(chǎn)品的優(yōu)勢和不足，以及未來技術(shù)發(fā)展方向，為企業(yè)的數(shù)據(jù)倉庫選型提供參考。類別類別l一：Teradata數(shù)據(jù)庫 Teradata天睿公司，專注大數(shù)據(jù)分析、數(shù)據(jù)倉庫和整合營銷管理解決方案的供應(yīng)商。l二：GreenPlum數(shù)據(jù)庫 Greenplum是一家為全球大型企業(yè)用戶提供新型企業(yè)級(jí)數(shù)據(jù)倉庫(EDW)企業(yè)級(jí)數(shù)據(jù)云(EDC)和商務(wù)智能(BI)提供解決方案和咨詢服務(wù)的公司。l三：Netezza數(shù)據(jù)庫 IBM（國際商業(yè)機(jī)器公司）

2、2010年9月收購的專門的數(shù)據(jù)倉庫數(shù)據(jù)庫，為使大數(shù)據(jù)高級(jí)分析更簡單、更迅捷和更易用而設(shè)計(jì)。l四：Exadata數(shù)據(jù)庫 Oracle的新一代數(shù)據(jù)庫云服務(wù)器。第一種：第一種： Teradata數(shù)據(jù)庫數(shù)據(jù)庫 Teradata近幾年一直處于數(shù)據(jù)倉庫領(lǐng)導(dǎo)者地位，Teradata數(shù)據(jù)倉庫產(chǎn)品線豐富，能夠適應(yīng)各種規(guī)模的數(shù)據(jù)倉庫。產(chǎn)品主要是集成的專用數(shù)據(jù)庫設(shè)備（集成了服務(wù)器、存儲(chǔ)、操作系統(tǒng)和數(shù)據(jù)庫）。Teradata的數(shù)據(jù)倉庫解決方案齊全，以前一直走“高端策略”，在大規(guī)模企業(yè)級(jí)數(shù)據(jù)倉庫客戶中占有絕對(duì)優(yōu)勢。不過，在其他產(chǎn)品的競爭下，逐漸向中端客戶領(lǐng)域擴(kuò)展。第一種：第一種： teradata數(shù)據(jù)庫系列數(shù)據(jù)庫系列l(wèi)

3、單節(jié)點(diǎn)系列（面向開發(fā)和測試）。l1系列（面向大規(guī)模數(shù)據(jù)存儲(chǔ)分析）。l2系列（面向部門級(jí)數(shù)據(jù)倉庫）l4系列（采用固態(tài)硬盤，面向高速分析）l5系列（面向企業(yè)級(jí)數(shù)據(jù)倉庫）第一種：第一種：teradata架構(gòu)架構(gòu)第一種：第一種：Teradata優(yōu)勢優(yōu)勢l大數(shù)據(jù)量處理性能較強(qiáng)。l 可線性擴(kuò)展，實(shí)現(xiàn)投資保護(hù)。l 數(shù)據(jù)庫易于管理和維護(hù)。l 第三方軟件產(chǎn)品豐富。l有一套完整的ETL方案、配置靈活l采集異構(gòu)數(shù)據(jù)時(shí)，數(shù)據(jù)會(huì)落地成.txt文件，并保留一定的天數(shù)，方便查錯(cuò)。l通過perl采集數(shù)據(jù)時(shí)，向teradata插入數(shù)據(jù)時(shí)速度快，只受限于網(wǎng)絡(luò)和鏈接接口。第一種：第一種：Teradata不足不足l專用設(shè)備，環(huán)境搭建

4、復(fù)雜，擴(kuò)展時(shí)停機(jī)時(shí)間較長l混合負(fù)載控制存在問題l各系列產(chǎn)品互聯(lián)困難l價(jià)格較高letl過程和td的工具綁定緊密，對(duì)數(shù)據(jù)庫本身的性能依賴強(qiáng)letl環(huán)境搭建復(fù)雜、非圖形化l自定義函數(shù)過程復(fù)雜，需要用c編寫并導(dǎo)入l數(shù)據(jù)庫在做線性擴(kuò)展時(shí)，數(shù)據(jù)需要重分布，消耗資源大，時(shí)間長第二種：第二種： GreenPlum GreenPlum2010年被EMC收購后，產(chǎn)品線進(jìn)一步完善，提供獨(dú)立的數(shù)據(jù)庫軟件和集成的數(shù)據(jù)倉庫設(shè)備兩種解決方案。將SQL和MapReduce功能整合到統(tǒng)一的數(shù)據(jù)處理框架中，利用MPP架構(gòu)的并行計(jì)算能力滿足大規(guī)模數(shù)據(jù)存儲(chǔ)和處理需求。產(chǎn)品的一大特色是可與任何基于MapReduce的外部產(chǎn)品協(xié)同工作，

5、容易實(shí)現(xiàn)當(dāng)下流行的“云計(jì)算”架構(gòu)；另一大特色是用戶可以自行選擇開放平臺(tái)PC服務(wù)器搭建海量數(shù)據(jù)處理環(huán)境，降低數(shù)據(jù)倉庫的TCO。第二種：第二種：GreenPlum架構(gòu)架構(gòu)第二種第二種:GP無共享架構(gòu)的特點(diǎn)無共享架構(gòu)的特點(diǎn)l最易于擴(kuò)展的架構(gòu)l內(nèi)部處理自動(dòng)化并行，無需人工分區(qū)或優(yōu)化l 數(shù)據(jù)分布在所有的并行節(jié)點(diǎn)上、每個(gè)節(jié)點(diǎn)只處理其中一部分?jǐn)?shù)據(jù)l最優(yōu)化的I/O處理、所有的節(jié)點(diǎn)同時(shí)進(jìn)行并行處理、節(jié)點(diǎn)之間完全無共享，無I/O沖突l增加節(jié)點(diǎn)實(shí)現(xiàn)線性擴(kuò)展、增加存儲(chǔ)、查詢和加載性能第二種：第二種：GreenPlum優(yōu)勢優(yōu)勢l支持行列混合存儲(chǔ)，消除了單獨(dú)行存儲(chǔ)和列存儲(chǔ)的缺陷l在線擴(kuò)容和維護(hù)，無需停機(jī)l數(shù)據(jù)加載速度快，

6、可實(shí)現(xiàn)實(shí)時(shí)分析l基于PosgreSQL開發(fā)，語法簡單，工具和應(yīng)用資源豐富l符合“云計(jì)算”發(fā)展方向第二種：第二種：GreenPlum不足不足l使用開放平臺(tái)實(shí)現(xiàn)，穩(wěn)定性相對(duì)較差l大數(shù)據(jù)量在節(jié)點(diǎn)間重分布時(shí)，其非專用網(wǎng)絡(luò)設(shè)計(jì)易導(dǎo)致性能瓶頸l開發(fā)客戶端功能不完善，功能靈活性不足。l函數(shù)運(yùn)算性能不足，在過程中動(dòng)態(tài)sql比靜態(tài)sql運(yùn)行效率高，使得開發(fā)、遷移、測試更復(fù)雜。l創(chuàng)建表空間和文件空間不方便。l對(duì)其他操作系統(tǒng)支持差。第三種：第三種：Netezza數(shù)據(jù)庫數(shù)據(jù)庫 IBM最初使用DB2提出數(shù)據(jù)倉庫解決方案，并提供獨(dú)立數(shù)據(jù)庫軟件和數(shù)據(jù)庫機(jī)的解決方案，但產(chǎn)品技術(shù)優(yōu)勢不明顯，且未給予足夠重視，市場逐漸萎縮。為彌

7、補(bǔ)不足，2010年IBM收購了專業(yè)的數(shù)據(jù)倉庫廠商N(yùn)etezza，希望利用Netezza的技術(shù)來與Teradata、Oracle等產(chǎn)品抗衡。Netezza提供集成的數(shù)據(jù)庫設(shè)備Twinfin解決方案，利用專利“流式數(shù)據(jù)處理架構(gòu)FPGAs”技術(shù)（硬件芯片），在數(shù)據(jù)通過磁盤時(shí)可以將無關(guān)數(shù)據(jù)快速過濾，解決了傳統(tǒng)數(shù)據(jù)倉庫產(chǎn)品的服務(wù)器和存儲(chǔ)間數(shù) 據(jù)流瓶頸問題，實(shí)現(xiàn)高性能數(shù)據(jù)處理。第三課第三課：IBM Netezza 架構(gòu)架構(gòu)第三種：第三種：Netezza架構(gòu)特點(diǎn)架構(gòu)特點(diǎn) Netezza系統(tǒng)性能的主要優(yōu)勢來自其獨(dú)特AMPP處理架構(gòu)，該架構(gòu)將SMP前端與一個(gè)無共享的MPP后端相結(jié)合完成查詢處理。該架構(gòu)將經(jīng)過精心

8、挑選的各個(gè)組件集成在一起組成了平衡的整體系統(tǒng)。通過每個(gè)處理組件對(duì)多個(gè)數(shù)據(jù)流進(jìn)行操作，并盡早過濾掉多余的數(shù)據(jù)。最多可有多達(dá)一千多個(gè)MPP處理組件共同工作。 Netezza的硬件架構(gòu)和gp有些類似，由主機(jī)和S刀片和磁盤陣列和網(wǎng)絡(luò)架構(gòu)組成，gp的硬件是由master主機(jī)和segment主機(jī)和磁盤陣列和網(wǎng)絡(luò)架構(gòu)組成。和td的硬件架構(gòu)有不同之處，td數(shù)據(jù)倉庫是由Bynet和SMP主機(jī)和磁盤陣列組成第三種：第三種： Netezza優(yōu)勢優(yōu)勢l針對(duì)數(shù)據(jù)分析設(shè)計(jì)，性價(jià)比高l兼容Oracle語句及主流BI工具l系統(tǒng)易于管理和維護(hù)l刀片式架構(gòu)，擴(kuò)展簡單l數(shù)據(jù)庫備份方便 ，可全量、增量、累計(jì)備份，恢復(fù)時(shí)可以全部恢復(fù)，

9、也可以單表，部分表恢復(fù)。lZone Map技術(shù)，在數(shù)據(jù)最小存儲(chǔ)塊里優(yōu)化數(shù)據(jù)，提高查詢效率。l表數(shù)據(jù)刪除更改記錄功能，數(shù)據(jù)誤操作時(shí)可以方便找回。lSql語法相交其他數(shù)據(jù)庫更簡單。第三種：第三種： Netezza不足不足l混合負(fù)載控制存在不足l流技術(shù)主要適用于趨勢分析，對(duì)于精確分析略顯不足l當(dāng)表的數(shù)據(jù)發(fā)生大的變化時(shí)，性能會(huì)下降，需手動(dòng)對(duì)表進(jìn)行g(shù)room(清理備份數(shù)據(jù))和重做表數(shù)據(jù)統(tǒng)計(jì)操作。l磁盤數(shù)據(jù)是兩兩互備份，一旦互備份磁盤同時(shí)損壞，數(shù)據(jù)很難恢復(fù)。第四種：第四種：Exadata數(shù)據(jù)庫數(shù)據(jù)庫 Oracle是數(shù)據(jù)庫產(chǎn)品的領(lǐng)軍人物，占據(jù)全球關(guān)系型數(shù)據(jù)庫市場的48%。Exadata是其推出的數(shù)據(jù)倉庫產(chǎn)品

10、，通過專用的集成設(shè)備、大容量并行網(wǎng)格結(jié)構(gòu)及Exadata Smart Flash Cache技術(shù)實(shí)現(xiàn)了處理高并發(fā)工作負(fù)荷的能力，產(chǎn)品中還增加了分區(qū)管理功能、列存儲(chǔ)壓縮等技術(shù)，大幅提高了數(shù)據(jù)處理性能，能夠支持各種規(guī)模的數(shù)據(jù)倉庫應(yīng)用。第四種：第四種： Exadata架構(gòu)架構(gòu)第四種：第四種： Exadata優(yōu)勢優(yōu)勢l事務(wù)類任務(wù)處理性能較好l 混合負(fù)載控制較好l 兼容Oracle產(chǎn)品和工具，易于使用第四種：第四種： Exadata不足不足l大數(shù)量處理性能上存在不足l 部署和管理復(fù)雜，且擴(kuò)展能力差l 價(jià)格和維護(hù)成本較高數(shù)據(jù)倉庫產(chǎn)品技術(shù)發(fā)展趨勢數(shù)據(jù)倉庫產(chǎn)品技術(shù)發(fā)展趨勢l集成的數(shù)據(jù)倉庫設(shè)備（一體機(jī)）將成為主流,一體機(jī)集成了服務(wù)器、存儲(chǔ)和軟件，具有安裝、配置、管理簡單，軟硬件協(xié)同、高可用性及性能可以最大