數(shù)據(jù)倉庫技術(shù)課件

1、數(shù)據(jù)倉庫顧 安 寧2022/7/271杭州斯凱網(wǎng)絡(luò)科技有限公司內(nèi)容數(shù)據(jù)倉庫一些特點數(shù)據(jù)倉庫的架構(gòu)Oracle RAC架構(gòu)GreenPlum架構(gòu)MapReduce的概念架構(gòu)比較風(fēng)險評估2022/7/272杭州斯凱網(wǎng)絡(luò)科技有限公司數(shù)據(jù)倉庫的目前的現(xiàn)狀軟件架構(gòu)硬件架構(gòu) 硬軟架構(gòu)又可以分成封閉式和開放式。封閉式硬件架構(gòu)代表廠商有teradata，其硬件是專屬的，必須使用特殊的硬件才能運行。開放式硬件架構(gòu)的代表有oracle，可以運行在各種硬件上，不過開放和封閉之間的界限也逐步的融合。 2022/7/273杭州斯凱網(wǎng)絡(luò)科技有限公司數(shù)據(jù)倉庫的目前的現(xiàn)狀2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司4 Gree

2、nplum在這兩方面取長補(bǔ)短，所提供的該公司的旗艦產(chǎn)品Greenplum數(shù)據(jù)引擎就是特別為支持新型數(shù)據(jù)倉庫和大規(guī)模分析處理而設(shè)計開發(fā)的，可以同時支持SQL和MapReduce技術(shù)。Greenplum數(shù)據(jù)引擎對有PB量級數(shù)據(jù)的大型公司提供數(shù)據(jù)處理能力?；贕reenplum數(shù)據(jù)引擎的解決方案的核心優(yōu)勢在于可將原來長達(dá)數(shù)小時甚至數(shù)天的運算時間縮短為幾分鐘。 數(shù)據(jù)倉庫的軟件架構(gòu)數(shù)據(jù)倉庫的軟件架構(gòu)選擇更加豐富數(shù)據(jù)庫軟件ETL軟件展現(xiàn)軟件數(shù)據(jù)挖掘軟件每一種類型里面都具備非常多的選擇。2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司5ETL約占整個項目的70% 2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司6 ET

3、L，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)抽取、轉(zhuǎn)換和加載。ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。 如果說數(shù)據(jù)倉庫的模型設(shè)計是一座大廈的設(shè)計藍(lán)圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個項目中最難部分是用戶需求分析和模型設(shè)計，而ETL規(guī)則設(shè)計和實施則是工作量最大的，約占整個項目的60%80%， 數(shù)據(jù)倉庫的架構(gòu)設(shè)計一些考慮因素2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司71.成本。成本永遠(yuǎn)是企業(yè)關(guān)心的一個核

4、心問題，特別在如今經(jīng)濟(jì)寒冬，更是如此。2.效率。能否高效的處理海量的數(shù)據(jù)是一個基礎(chǔ)要素，搞數(shù)據(jù)倉庫的都知道，數(shù)據(jù)量永遠(yuǎn)是一個經(jīng)常被拿出來討論的話題。3.線性擴(kuò)展。能支持線性擴(kuò)展的系統(tǒng)在計劃支撐多年的系統(tǒng)中特別重要，可以非常方便的做出年度預(yù)算。4.協(xié)同工作。解決多人協(xié)同開發(fā)問題。數(shù)據(jù)倉庫的架構(gòu)設(shè)計一些考慮因素2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司85.調(diào)度。能否很方便的一目了然的看到整體調(diào)度，站在一個非常高的高度來管理各種數(shù)據(jù)流。6.兼容性。能否兼容各種異構(gòu)數(shù)據(jù)。7.準(zhǔn)確的監(jiān)控系統(tǒng)。8.高效的開發(fā)框架。數(shù)據(jù)倉庫的架構(gòu)類型2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司9Oracle數(shù)據(jù)倉庫的架構(gòu)2

5、022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司10GreenPlum數(shù)據(jù)倉庫的架構(gòu)2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司11GreenPlum數(shù)據(jù)倉庫的架構(gòu)2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司12MapReduce 概念2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司13 MapReduce是一種編程模型(并不是google自己開發(fā)的編程工具)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念Map（映射）和Reduce（化簡），和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統(tǒng)上。 當(dāng)前

6、的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce 映射概念2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司14 簡單說來，一個映射函數(shù)就是對一些獨立元素組成的概念上的列表（例如，一個測試成績的列表）的每一個元素進(jìn)行指定的操作（比如前面的例子里，有人發(fā)現(xiàn)所有學(xué)生的成績都被高估了一分，他可以定義一個“減一”的映射函數(shù)，用來修正這個錯誤。）。 事實上，每個元素都是被獨立操作的，而原始列表沒有被更改，因為這里創(chuàng)建了一個新的列表來保存新的答案。這就是說，Map操作是可以高度并行

7、的，這對高性能要求的應(yīng)用以及并行計算領(lǐng)域的需求非常有用。 MapReduce 化簡概念2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司15 而化簡操作指的是對一個列表的元素進(jìn)行適當(dāng)?shù)暮喜ⅲɡ^續(xù)看前面的例子，如果有人想知道班級的平均分該怎么做？他可以定義一個化簡函數(shù)，通過讓列表中的元素跟自己的相鄰的元素相加的方式把列表減半，如此遞歸運算直到列表只剩下一個元素，然后用這個元素除以人數(shù)，就得到了平均分。）。雖然他不如映射函數(shù)那么并行，但是因為化簡總是有一個簡單的答案，大規(guī)模的運算相對獨立，所以化簡函數(shù)在高度并行環(huán)境下也很有用。MapReduce的分布和可靠性2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司16

8、MapReduce通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)可靠性；每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。如果一個節(jié)點保持沉默超過一個預(yù)設(shè)的時間間隔，主節(jié)點（類同Google File System中的主服務(wù)器）記錄下這個節(jié)點狀態(tài)為死亡，并把分配給這個節(jié)點的數(shù)據(jù)發(fā)到別的節(jié)點。每個操作使用命名文件的原子操作以確保不會發(fā)生并行線程間的沖突；當(dāng)文件被改名的時候，系統(tǒng)可能會把他們復(fù)制到任務(wù)名以外的另一個名字上去。（避免副作用）。 MapReduce的分布和可靠性2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司17 化簡操作工作方式很類似，但是由于化簡操作在并行能力較差，主節(jié)點會盡量把

9、化簡操作調(diào)度在一個節(jié)點上，或者離需要操作的數(shù)據(jù)盡可能近的節(jié)點上了；這個特性可以滿足Google的需求，因為他們有足夠的帶寬，他們的內(nèi)部網(wǎng)絡(luò)沒有那么多的機(jī)器。MapReduce的用途2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司18 在Google，MapReduce用在非常廣泛的應(yīng)用程序中，包括“分布grep，分布排序，web連接圖反轉(zhuǎn)，每臺機(jī)器的詞矢量，web訪問日志分析，反向索引構(gòu)建，文檔聚類,機(jī)器學(xué)習(xí)，基于統(tǒng)計的機(jī)器翻譯.”值得注意的是，MapReduce實現(xiàn)以后，它被用來重新生成Google的整個索引。MapReduce會生成大量的臨時文件，為了提高效率，它利用Google文件系統(tǒng)來管理和

10、訪問這些文件。數(shù)據(jù)倉庫的架構(gòu)比較2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司19硬件物理架構(gòu)比較2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司20 數(shù)據(jù)倉庫的物理架構(gòu)，包含硬件物理架構(gòu)和軟件物理架構(gòu)。硬件物理架構(gòu)包含集中式和分布式兩種，在企業(yè)里面都有運用。 集中式硬件物理架構(gòu)偏向于使用非常power的小型機(jī)或者大型機(jī)，非常高端的海量存儲，管理簡單，在不計投入的情況下性能也能滿足企業(yè)需求。 分布式硬件物理架構(gòu)目前非常流行，特征是采用價格低廉的中低端機(jī)器組成計算集群，不同的技術(shù)驅(qū)動下，在shared nothing的架構(gòu)下可以采用本機(jī)的硬盤， 在shared everything的架構(gòu)下偏向使用集中存儲

11、，分布式集群在網(wǎng)絡(luò)上的要求比較高，擴(kuò)展性比較好，配合好的軟件可以達(dá)到線性擴(kuò)展的要求。軟件物理架構(gòu)比較2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司21 軟件物理架構(gòu)主要特征區(qū)別就是行存儲和列存儲。這個也是曾經(jīng)很多廠商津津樂道的地方，根據(jù)需求的不同，2種方式可以靈活采用。 大部分DB軟件都是采用行存儲，而列存儲的特征在于高效的單列值壓縮，在選擇列比較少的時候需要io要求很低，速度很快，不過行存儲的DB目前在壓縮效率上也在迅速提升，大部分需求還是選擇行數(shù)據(jù)進(jìn)行觀察，行存儲也更加便于表的按記錄拆分進(jìn)行并行化。Oracle RAC和GreenPlum成本比較2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司22

12、Oracle RAC 包括軟件成本，維護(hù)成本，硬件成本，由于Oracle采用shared everything方式，因而除了Oracle RAC本身的軟件成本，維護(hù)成本外，還有很大一塊存儲成本。而GreenPlum是采用shared nothing方式，可以采用廉價的硬盤存儲方式。軟件成本相對于Oracle來說也便宜很多。因為數(shù)據(jù)倉庫的主要的工作量和維護(hù)成本是ETL，而斯凱目前大部分?jǐn)?shù)據(jù)都放在Oracle數(shù)據(jù)庫中，因而采用Oracle RAC 方案ETL時間會大大縮小。 Oracle RAC和GreenPlum風(fēng)險評估2022/7/27杭州斯凱網(wǎng)絡(luò)科技有限公司23 Oracle RAC 方案是

13、基于成熟的架構(gòu)，被業(yè)界采用最廣泛的方案，因而風(fēng)險相對小很多而GreenPlum方案是目前最近的解決方案，國外VideoEgg和Skype等公司采用。09年剛剛進(jìn)入中國，目前國內(nèi)還沒有公司正式采用，淘寶，阿里巴巴B2B公司在試用。因而遇到的風(fēng)險相對會大很多 提問與討論 素人考、玄人実行像外行一樣思考，像專家一樣實踐 金出 武雄2022/7/2724杭州斯凱網(wǎng)絡(luò)科技有限公司如果放棄太早，你永遠(yuǎn)都不知道自己會錯過什么。7月-227月-22Wednesday, July 27, 2022今天應(yīng)做的事沒有做，明天再早也是耽誤了。06:40:4006:40:4006:407/27/2022 6:40:40

14、 AM沒有等出來的輝煌；只有走出來的美麗。7月-2206:40:4006:40Jul-2227-Jul-22生活不應(yīng)該過于拘泥，過于刻板，只要有可能就要任其自由發(fā)揮。06:40:4006:40:4006:40Wednesday, July 27, 2022所有目標(biāo)都是黑暗的，只有行動才與光明相伴！。7月-227月-2206:40:4006:40:40July 27, 2022對于攀登者來說，失掉往昔的足跡并不可惜，迷失了繼續(xù)前時的方向卻很危險。2022年7月27日6:40 上午7月-227月-22江無回頭浪，人無再少年。年華若虛度，老來恨不淺。時光容易逝，歲月莫消遣。碌碌而無為，生命不值錢。27 七月 20226:40:40 上午06:40:407月-22講真話的最大好處就是：不必記得自己講過什么。七月 226:40 上午7月-2206:40July 27, 2022我生平最高興的，就是我答應(yīng)幫助人家去做的事，自己不僅是完成了，而且比他們要求的做得更好，當(dāng)完成這些信諾時，那種興奮的感覺是難以形容的。2022/7/27 6:40:4006:40:4027 July 2022歷