數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)

1、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別簡(jiǎn)而言之,數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì),數(shù)據(jù)倉(cāng)庫(kù)是面向主題設(shè)計(jì)的。數(shù)據(jù)庫(kù)一般存儲(chǔ)在線交易數(shù)據(jù),數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的一般是歷史數(shù)據(jù)。數(shù)據(jù)庫(kù)設(shè)計(jì)是盡量避免冗余,一般采用符合范式的規(guī)則來(lái)設(shè)計(jì),數(shù)據(jù)倉(cāng)庫(kù)在設(shè)計(jì)是有意引入冗余,采用反范式的方式來(lái)設(shè)計(jì)。數(shù)據(jù)庫(kù)是為捕獲數(shù)據(jù)而設(shè)計(jì),數(shù)據(jù)倉(cāng)庫(kù)是為分析數(shù)據(jù)而設(shè)計(jì),它的兩個(gè)基本的元素是維表和事實(shí)表。維是看問(wèn)題的角度,比如時(shí)間,部門(mén),維表放的就是這些東西的定義,事實(shí)表里放著要查詢(xún)的數(shù)據(jù),同時(shí)有維的ID。單從概念上講,有些晦澀。任何技術(shù)都是為應(yīng)用服務(wù)的,結(jié)合應(yīng)用可以很容易地理解。以銀行業(yè)務(wù)為例。數(shù)據(jù)庫(kù)是事務(wù)系統(tǒng)的數(shù)據(jù)平臺(tái),客戶(hù)在銀行做的每筆交易都會(huì)寫(xiě)入數(shù)據(jù)庫(kù),

2、被記錄下來(lái),這里,可以簡(jiǎn)單地理解為用數(shù)據(jù)庫(kù)記帳。數(shù)據(jù)倉(cāng)庫(kù)是分析系統(tǒng)的數(shù)據(jù)平臺(tái),它從事務(wù)系統(tǒng)獲取數(shù)據(jù),并做匯總、加工,為決策者提供決策的依據(jù)。比如,某銀行某分行一個(gè)月發(fā)生多少交易,該分行當(dāng)前存款余額是多少。如果存款又多,消費(fèi)交易又多,那么該地區(qū)就有必要設(shè)立ATM 了。顯然,銀行的交易量是巨大的,通常以百萬(wàn)甚至千萬(wàn)次來(lái)計(jì)算。事務(wù)系統(tǒng)是實(shí)時(shí)的,這就要求時(shí)效性,客戶(hù)存一筆錢(qián)需要幾十秒是無(wú)法忍受的,這就要求數(shù)據(jù)庫(kù)只能存儲(chǔ)很短一段時(shí)間的數(shù)據(jù)。而分析系統(tǒng)是事后的,它要提供關(guān)注時(shí)間段內(nèi)所有的有效數(shù)據(jù)。這些數(shù)據(jù)是海量的,匯總計(jì)算起來(lái)也要慢一些,但是,只要能夠提供有效的分析數(shù)據(jù)就達(dá)到目的了。“面向主題的”:傳統(tǒng)數(shù)

3、據(jù)庫(kù)主要是為應(yīng)用程序進(jìn)行數(shù)據(jù)處理,未必按照同一主題存儲(chǔ)數(shù)據(jù);數(shù)據(jù)倉(cāng)庫(kù)側(cè)重于數(shù)據(jù)分析工作,是按照主題存儲(chǔ)的。這一點(diǎn),類(lèi)似于傳統(tǒng)農(nóng)貿(mào)市場(chǎng)與超市的區(qū)別市場(chǎng)里面,白菜、蘿卜、香菜會(huì)在一個(gè)攤位上,如果它們是一個(gè)小販賣(mài)的;而超市里,白菜、蘿卜、香菜則各自一塊。也就是說(shuō),市場(chǎng)里的菜(數(shù)據(jù)是按照小販(應(yīng)用程序歸堆(存儲(chǔ)的,超市里面則是按照菜的類(lèi)型(同主題歸堆的。“與時(shí)間相關(guān)”:數(shù)據(jù)庫(kù)保存信息的時(shí)候,并不強(qiáng)調(diào)一定有時(shí)間信息。數(shù)據(jù)倉(cāng)庫(kù)則不同,出于決策的需要,數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都要標(biāo)明時(shí)間屬性。決策中,時(shí)間屬性很重要。同樣都是累計(jì)購(gòu)買(mǎi)過(guò)九車(chē)產(chǎn)品的顧客,一位是最近三個(gè)月購(gòu)買(mǎi)九車(chē),一位是最近一年從未買(mǎi)過(guò),這對(duì)于決策者意義

4、是不同的。“不可修改”:數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)并不是最新的,而是來(lái)源于其它數(shù)據(jù)源。數(shù)據(jù)倉(cāng)庫(kù)反映的是歷史信息,并不是很多數(shù)據(jù)庫(kù)處理的那種日常事務(wù)數(shù)據(jù)(有的數(shù)據(jù)庫(kù)例如電信計(jì)費(fèi)數(shù)據(jù)庫(kù)甚至處理實(shí)時(shí)信息。因此,數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是極少或根本不修改的;當(dāng)然,向數(shù)據(jù)倉(cāng)庫(kù)添加數(shù)據(jù)是允許的。數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn),并不是要取代數(shù)據(jù)庫(kù)。目前,大部分?jǐn)?shù)據(jù)倉(cāng)庫(kù)還是用關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)管理的?？梢哉f(shuō),數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)相輔相成、各有千秋。補(bǔ)充一下,數(shù)據(jù)倉(cāng)庫(kù)的方案建設(shè)的目的,是為前端查詢(xún)和分析作為基礎(chǔ),由于有較大的冗余,所以需要的存儲(chǔ)也較大。為了更好地為前端應(yīng)用服務(wù),數(shù)據(jù)倉(cāng)庫(kù)必須有如下幾點(diǎn)優(yōu)點(diǎn),否則是失敗的數(shù)據(jù)倉(cāng)庫(kù)方案。1.效率足夠高。客戶(hù)要求的分析數(shù)據(jù)一般分為日、周、月、季、年等,可以看出,日為周期的數(shù)據(jù)要求的效率最高,要求24小時(shí)甚至12小時(shí)內(nèi),客戶(hù)能看到昨天的數(shù)據(jù)分析。由于有的企業(yè)每日的數(shù)據(jù)量很大,設(shè)計(jì)不好的數(shù)據(jù)倉(cāng)庫(kù)經(jīng)常會(huì)出問(wèn)題,延遲1-3日才能給出數(shù)據(jù),顯然不行的。2.數(shù)據(jù)質(zhì)量?？蛻?hù)要看各種信息,肯定要準(zhǔn)確的數(shù)據(jù),但由于數(shù)據(jù)倉(cāng)庫(kù)流程至少分為3步,2次ETL,復(fù)雜的架構(gòu)會(huì)更多層次,那么由于數(shù)據(jù)源有臟數(shù)據(jù)或者代碼不嚴(yán)謹(jǐn),都可以導(dǎo)致數(shù)據(jù)失真,客戶(hù)看到錯(cuò)誤的信息就可能導(dǎo)致分析出錯(cuò)誤的決策,造成損失,而不是效益。3.擴(kuò)展性。之所以有的大型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)設(shè)計(jì)復(fù)雜,是因?yàn)榭紤]到了未來(lái)3-5年的擴(kuò)展性,這樣的話,客戶(hù)不用太快花錢(qián)