阿里大數(shù)據(jù)之路：數(shù)據(jù)模型篇大總結(jié)

阿里大數(shù)據(jù)之路：數(shù)據(jù)模型篇大總結(jié)第1章大數(shù)據(jù)領(lǐng)域建模綜述1.1為什么需要數(shù)據(jù)建模有結(jié)構(gòu)地分類組織和存儲(chǔ)是我們面臨的一個(gè)挑戰(zhàn)。數(shù)據(jù)模型強(qiáng)調(diào)從業(yè)務(wù)、數(shù)據(jù)存取和使用角度合理存儲(chǔ)數(shù)據(jù)。數(shù)據(jù)模型方法，以便在性能、成本、效率之間取得最佳平衡成本：良好的數(shù)據(jù)模型能極大地減少不必要的數(shù)據(jù)冗余，也能實(shí)現(xiàn)計(jì)算結(jié)果復(fù)用，極大地降低大數(shù)據(jù)系統(tǒng)中的存儲(chǔ)和計(jì)算成本。效率：良好的數(shù)據(jù)模型能極大地改善用戶使用數(shù)據(jù)的體驗(yàn)，提高使用數(shù)據(jù)的效率。質(zhì)量：良好的數(shù)據(jù)模型能改善數(shù)據(jù)統(tǒng)計(jì)口徑的不一致性，減少數(shù)據(jù)計(jì)算錯(cuò)誤的可能性。1.2關(guān)系數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫1.3從OLTP和OLAP系統(tǒng)的區(qū)別看模型方法論的選擇OLTP系統(tǒng)通常面向的主要數(shù)據(jù)操作是隨機(jī)讀寫，主要采用滿足3NF的實(shí)體關(guān)系模型存儲(chǔ)數(shù)據(jù)，從而在事務(wù)處理中解決數(shù)據(jù)的冗余和一致性問題：OLAP系統(tǒng)面向的主要數(shù)據(jù)操作是批量讀寫，事務(wù)處理中的一致性不是OLAP所關(guān)注的，其主要關(guān)注數(shù)據(jù)的整合，以及在一次性的復(fù)雜大數(shù)據(jù)查詢和處理中的性能，因此它需要采用一些不同的數(shù)據(jù)建模方法。1.4典型的數(shù)據(jù)倉庫建模方法論1.4.1ER模型采用ER模型建設(shè)數(shù)據(jù)倉庫模型的出發(fā)點(diǎn)是整合數(shù)據(jù)，將各個(gè)系統(tǒng)中的數(shù)據(jù)以整個(gè)企業(yè)角度按主題進(jìn)行相似性組合和合并，并進(jìn)行一致性處理，為數(shù)據(jù)分析決策服務(wù)，但是并不能直接用于分析決策。ER模型在實(shí)踐中最典型的代表是Teradata公司基于金融業(yè)務(wù)發(fā)布的FS-LDM（FinancialServicesLogicalDataModel），它通過對金融業(yè)務(wù)的高度抽象和總結(jié)，將金融業(yè)務(wù)劃分為10大主題，并以設(shè)計(jì)面向金融倉庫模型的核心為基礎(chǔ)，企業(yè)基于此模型做適當(dāng)調(diào)整和擴(kuò)展就能快速落地實(shí)施。1.4.2維度模型維度建模從分析決策的需求出發(fā)構(gòu)建模型，為分析需求服務(wù)，因此它重點(diǎn)關(guān)注用戶如何更快速地完成需求分析，同時(shí)具有較好的大規(guī)模復(fù)雜查詢的響應(yīng)性能。其典型的代表是星形模型，以及在一些特殊場景下使用的雪花模型。設(shè)計(jì)步驟通常如下：選擇需要進(jìn)行分析決策的業(yè)務(wù)過程。業(yè)務(wù)過程可以是單個(gè)業(yè)務(wù)事件，比如交易的支付、退款等；也可以是某個(gè)事件的狀態(tài)，比如當(dāng)前的賬戶余額等；還可以是一系列相關(guān)業(yè)務(wù)事件組成的業(yè)務(wù)流程，具體需要看我們分析的是某些事件發(fā)生情況，還是當(dāng)前狀態(tài)，或是事件流轉(zhuǎn)效率。選擇粒度。在事件分析中，我們要預(yù)判所有分析需要細(xì)分的程度，從而決定選擇的粒度。粒度是維度的一個(gè)組合。識(shí)別維表。選擇好粒度之后，就需要基于此粒度設(shè)計(jì)維表，包括維度屬性，用于分析時(shí)進(jìn)行分組和篩選。選擇事實(shí)。確定分析需要衡量的指標(biāo)。1.4.3DataVault模型它強(qiáng)調(diào)建立一個(gè)可審計(jì)的基礎(chǔ)數(shù)據(jù)層，也就是強(qiáng)調(diào)數(shù)據(jù)的歷史性、可追溯性和原子性，而不要求對數(shù)據(jù)進(jìn)行過度的一致性處理和整合；同時(shí)它基于主題概念將企業(yè)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化組織，并引入了更進(jìn)一步的范式處理來優(yōu)化模型，以應(yīng)對下游、系統(tǒng)變更的擴(kuò)展性。1.4.4Anchor模型Anchor對DataVault模型做了進(jìn)一步規(guī)范化處理，Lars.Ronnback的初衷是設(shè)計(jì)一個(gè)高度可擴(kuò)展的模型，其核心思想是所有的擴(kuò)展只是添加而不是修改，因此將模型規(guī)范到6NF，基本變成了k-v結(jié)構(gòu)化模型。1.5阿里巴巴數(shù)據(jù)模型實(shí)踐綜述第一個(gè)階段：構(gòu)建在Oracle上，數(shù)據(jù)完全以滿足報(bào)表需求為目的第二個(gè)階段：引入了當(dāng)時(shí)MPP架構(gòu)體系的Greenplum，ODL（操作數(shù)據(jù)層）+BDL（基礎(chǔ)數(shù)據(jù)層）+IDL（接口數(shù)據(jù)層）+ADL（應(yīng)用數(shù)據(jù)層）；BDL希望引入ER模型，加強(qiáng)數(shù)據(jù)的整合，構(gòu)建一致的基礎(chǔ)數(shù)據(jù)模型，但構(gòu)建ER模型時(shí)遇到了比較大的困難和挑戰(zhàn)，互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展、人員的快速變化、業(yè)務(wù)知識(shí)功底的不夠全面，導(dǎo)致ER模型設(shè)計(jì)遲遲不能產(chǎn)出。至此，我們也得到了一個(gè)經(jīng)驗(yàn)：在不太成熟、快速變化的業(yè)務(wù)面前，構(gòu)建ER模型的風(fēng)險(xiǎn)非常大，不太適合去構(gòu)建ER模型。第三個(gè)階段：迎來了以Hadoop為代表的分布式存儲(chǔ)計(jì)算平臺(tái)的快速發(fā)展，同時(shí)阿里巴巴集團(tuán)自主研發(fā)的分布式計(jì)算平臺(tái)MaxCompute也在緊鑼密鼓地進(jìn)行著。以Kimball的維度建模為核心理念的模型方法論，構(gòu)建了阿里巴巴集團(tuán)的公共層模型數(shù)據(jù)架構(gòu)體系。數(shù)據(jù)公共層建設(shè)的目的是著力解決數(shù)據(jù)存儲(chǔ)和計(jì)算的共享問題。數(shù)據(jù)每年以近2.5倍的速度在增長，數(shù)據(jù)的增長遠(yuǎn)遠(yuǎn)超過業(yè)務(wù)的增長。統(tǒng)一化的集團(tuán)數(shù)據(jù)整合及管理的方法體系“OneData”：一致性的指標(biāo)定義體系、模型設(shè)計(jì)方法體系以及配套工具。第2章阿里巴巴數(shù)據(jù)整合及管理體系面對爆炸式增長的數(shù)據(jù)，如何建設(shè)高效的數(shù)據(jù)模型和體系，對這些數(shù)據(jù)進(jìn)行有序和有結(jié)構(gòu)地分類組織和存儲(chǔ)，避免重復(fù)建設(shè)和數(shù)據(jù)不一致性，保證數(shù)據(jù)的規(guī)范性，一直是大數(shù)據(jù)系統(tǒng)建設(shè)不斷追求的方向。2.1概述核心：從業(yè)務(wù)架構(gòu)設(shè)計(jì)（如何快速上手工作）到模型設(shè)計(jì)，從數(shù)據(jù)研發(fā)到數(shù)據(jù)服務(wù)，做到數(shù)據(jù)可管理、可追溯、可規(guī)避重復(fù)建設(shè)。2.1.1定位及價(jià)值建設(shè)統(tǒng)一的、規(guī)范化的數(shù)據(jù)接入層（ODS）和數(shù)據(jù)中間層（DWD和DWS），通過數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品，完成服務(wù)于阿里巴巴的大數(shù)據(jù)系統(tǒng)建設(shè)，即數(shù)據(jù)公共層建設(shè)。業(yè)務(wù)板塊：根據(jù)業(yè)務(wù)屬性劃分板塊，板塊之間的指標(biāo)或業(yè)務(wù)重疊性較小。規(guī)范定義：一套數(shù)據(jù)規(guī)范命名體系，用在模型設(shè)計(jì)中模型設(shè)計(jì)：以維度建模理論為基礎(chǔ)，基于維度建?？偩€架構(gòu)，構(gòu)建一致性的維度和事實(shí)(進(jìn)行規(guī)范定義)。2.2規(guī)范定義規(guī)范定義指以維度建模作為理論基礎(chǔ)，構(gòu)建總線矩陣，劃分和定義數(shù)據(jù)域、業(yè)務(wù)過程、維度、度量／原子指標(biāo)、修飾類型、修飾詞、時(shí)間周期、派生指標(biāo)。2.2.1名詞術(shù)語數(shù)據(jù)域（主題域）面向業(yè)務(wù)分析，將業(yè)務(wù)過程或者維度進(jìn)行抽象的集合。業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件，在業(yè)務(wù)過程之下，可以定義指標(biāo)；維度是指度量的環(huán)境，如買家下單事件，買家是維度。為保障整個(gè)體系的生命力，數(shù)據(jù)域是需要抽象提煉，并且長期維護(hù)和更新的，但不輕易變動(dòng)。常見主題域：用戶、渠道、營銷、流量、交易、財(cái)務(wù)、商品業(yè)務(wù)過程指企業(yè)的業(yè)務(wù)活動(dòng)事件，如下單、支付、退款都是業(yè)務(wù)過程。請注意，業(yè)務(wù)過程是一個(gè)不可拆分的行為事件，通俗地講，業(yè)務(wù)過程就是企業(yè)活動(dòng)中的事件時(shí)間周期用來明確數(shù)據(jù)統(tǒng)計(jì)的時(shí)間范圍或者時(shí)間點(diǎn)，如最近30天、自然周、截至當(dāng)日等修飾類型是對修飾詞的一種抽象劃分。修飾類型從屬于某個(gè)業(yè)務(wù)域，如日志域的訪問終端類型涵蓋無線端、PC端等修飾詞修飾詞指除了統(tǒng)計(jì)維度以外指標(biāo)的業(yè)務(wù)場景限定抽象。修飾詞隸屬于一種修飾類型，如在日志域的訪問終端類型下，有修飾詞PC端、無線端等度量/原子指標(biāo)原子指標(biāo)和度量含義相同，基于某一業(yè)務(wù)事件行為下的度量，是業(yè)務(wù)定義中不可再拆分的指標(biāo)，具有明確業(yè)務(wù)含義的名詞，如支付金額維度維度是度量的環(huán)境，用來反映業(yè)務(wù)的一類屬性，這類屬性的集合構(gòu)成一個(gè)維度，也可以稱為實(shí)體對象。維度屬于一個(gè)數(shù)據(jù)域，如地理維度（其中包括國家、地區(qū)、省以及城市等級(jí)別的內(nèi)容)、時(shí)間維度(其中包括年、季、月、周、日等級(jí)別的內(nèi)容）維度屬性維度屬性隸屬于一個(gè)維度，如地理維度里面的國家名稱、國家ID、省份名稱等都屬于維度屬性派生指標(biāo)派生指標(biāo)=一個(gè)原子指標(biāo)+多個(gè)修飾詞(可選)+時(shí)間周期+粒度?？梢岳斫鉃閷υ又笜?biāo)業(yè)務(wù)統(tǒng)計(jì)范圍的圈定。如原子指標(biāo)：支付金額，最近1天海外買家支付金額則為派生指標(biāo)(最近1天為時(shí)間周期，海外為修飾詞，買家作為維度，而不作為修飾詞)2.2.2指標(biāo)體系一、基本原則組成體系之間的關(guān)系派生指標(biāo)由原子指標(biāo)、時(shí)間周期修飾詞、若干其他修飾詞組合得到原子指標(biāo)、修飾類型及修飾詞，直接歸屬在業(yè)務(wù)過程下，其中修飾詞繼承修飾類型的數(shù)據(jù)域派生指標(biāo)可以選擇多個(gè)修飾詞，修飾詞之間的關(guān)系為"或"或者"且"，由派生指標(biāo)具體語義決定派生指標(biāo)唯一歸屬一個(gè)原子指標(biāo)，繼承原子指標(biāo)的數(shù)據(jù)域，與修飾詞的數(shù)據(jù)域無關(guān)原子指標(biāo)有確定的英文字段名、數(shù)據(jù)類型和算法說明；派生指標(biāo)要繼承原子指標(biāo)的英文名、數(shù)據(jù)類型和算法要求命名約定命名所用術(shù)語。指標(biāo)命名盡量使用英文簡寫，其次是英文。太長也可以考慮漢語拼音首字母業(yè)務(wù)過程。英文名：用英文或英文的縮寫或者中文拼音簡寫原子指標(biāo)。英文名：動(dòng)作+度量修飾詞。只有時(shí)間周期才會(huì)有英文名派生指標(biāo)。英文名：原子指標(biāo)英文名+時(shí)間周期修飾詞(3位,例如_1d)+序號(hào)(4位，例如_001)算法算法概述一一算法對應(yīng)的用戶容易理解的闡述。舉例一一通過具體例子幫助理解指標(biāo)算法。SQL算法說明一一對于派生指標(biāo)給出SQL的寫法或者偽代碼。二、操作細(xì)則派生指標(biāo)可以分為三類：事務(wù)型指標(biāo)、存量型指標(biāo)和復(fù)合型指標(biāo)。事務(wù)型指標(biāo)：是指對業(yè)務(wù)活動(dòng)進(jìn)行衡量的指標(biāo)。例如新發(fā)商品數(shù)、重發(fā)商品數(shù)、新增注冊會(huì)員數(shù)、訂單支付金額，這類指標(biāo)需維護(hù)原子指標(biāo)及修飾詞，在此基礎(chǔ)上創(chuàng)建派生指標(biāo)。存量型指標(biāo)：是指對實(shí)體對象(如商品、會(huì)員)某些狀態(tài)的統(tǒng)計(jì)。例如商品總數(shù)、注冊會(huì)員總數(shù)，這類指標(biāo)需維護(hù)原子指標(biāo)及修飾詞，在此基礎(chǔ)上創(chuàng)建派生指標(biāo)，對應(yīng)的時(shí)間周期一般為“歷史截至當(dāng)前某個(gè)時(shí)間”。復(fù)合型指標(biāo)：是在事務(wù)型指標(biāo)和存量型指標(biāo)的基礎(chǔ)上復(fù)合而成的。例如瀏覽UV-下單買家數(shù)轉(zhuǎn)化率，有些需要?jiǎng)?chuàng)建新原子指標(biāo)，有些則可以在事務(wù)型或存量型原子指標(biāo)的基礎(chǔ)上增加修飾詞得到派生指標(biāo)。2.3模型設(shè)計(jì)2.3.1指導(dǎo)理論數(shù)據(jù)模型的維度設(shè)計(jì)主要以維度建模理論為基礎(chǔ)，基于維度數(shù)據(jù)模型總線架構(gòu)，構(gòu)建一致性的維度和事實(shí)。2.3.2模型層次操作數(shù)據(jù)層（ODS）：把操作系統(tǒng)數(shù)據(jù)幾乎無處理地存放在數(shù)據(jù)倉庫系統(tǒng)中。公共維度模型層（CDM）：存放明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)及公共指標(biāo)匯總數(shù)據(jù)，其中明細(xì)事實(shí)數(shù)據(jù)、維表數(shù)據(jù)一般根據(jù)ODS層數(shù)據(jù)加工生成；公共指標(biāo)匯總數(shù)據(jù)一般根據(jù)維表數(shù)據(jù)和明細(xì)事實(shí)數(shù)據(jù)加工生成。CDM層又細(xì)分為DWD層和DWS層，分別是明細(xì)數(shù)據(jù)層和匯總數(shù)據(jù)層，采用維度模型方法作為理論基礎(chǔ)，更多地采用一些維度退化手法，將維度退化至事實(shí)表中，減少事實(shí)表和維表的關(guān)聯(lián)，提高明細(xì)數(shù)據(jù)表的易用性；同時(shí)在匯總數(shù)據(jù)層，加強(qiáng)指標(biāo)的維度退化，采取更多的寬表化手段構(gòu)建公共指標(biāo)數(shù)據(jù)層，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工。其主要功能如下。組合相關(guān)和相似數(shù)據(jù)：采用明細(xì)寬表，復(fù)用關(guān)聯(lián)計(jì)算，減少數(shù)據(jù)掃描。公共指標(biāo)統(tǒng)一加工：基于OneData體系構(gòu)建命名規(guī)范、口徑一致和算法統(tǒng)一的統(tǒng)計(jì)指標(biāo)，為上層數(shù)據(jù)產(chǎn)品、應(yīng)用和服務(wù)提供公共指標(biāo)建立邏輯匯總寬表。建立一致性維度:建立一致的數(shù)據(jù)分析維表，降低數(shù)據(jù)計(jì)算口徑、算法不統(tǒng)一的風(fēng)險(xiǎn)。應(yīng)用數(shù)據(jù)層（ADS）：存放數(shù)據(jù)產(chǎn)品個(gè)性化的統(tǒng)計(jì)指標(biāo)數(shù)據(jù)，根據(jù)CDM層與ODS層加工生成。個(gè)性化指標(biāo)加工：不公用性、復(fù)雜性(指數(shù)型、比值型、排名型指標(biāo))。基于應(yīng)用的數(shù)據(jù)組裝:大寬表集市、橫表轉(zhuǎn)縱表、趨勢指標(biāo)串。阿里巴巴通過構(gòu)建全域的公共層數(shù)據(jù)，極大地控制了數(shù)據(jù)規(guī)模的增長趨勢模型架構(gòu)圖數(shù)據(jù)調(diào)用服務(wù)優(yōu)先使用公共維度模型層(CDM)數(shù)據(jù)，當(dāng)公共層沒有數(shù)據(jù)時(shí)，需評(píng)估是否需要?jiǎng)?chuàng)建公共層數(shù)據(jù)，當(dāng)不需要建設(shè)公用的公共層時(shí)，方可直接使用操作數(shù)據(jù)層(ODS)數(shù)據(jù)。應(yīng)用數(shù)據(jù)層(ADS)作為產(chǎn)品特有的個(gè)性化數(shù)據(jù)一般不對外提供數(shù)據(jù)服務(wù)，但是ADS作為被服務(wù)方也需要遵守這個(gè)約定。2.3.3基本原則高內(nèi)聚和低耦合一個(gè)邏輯或者物理模型由哪些記錄和字段組成，應(yīng)該遵循最基本的軟件設(shè)計(jì)方法論的高內(nèi)聚和低耦合原則。主要從數(shù)據(jù)業(yè)務(wù)特性和訪問特性兩個(gè)角度來考慮：將業(yè)務(wù)相近或者相關(guān)、粒度相同的數(shù)據(jù)設(shè)計(jì)為一個(gè)邏輯或者物理模型；將高概率同時(shí)訪問的數(shù)據(jù)放一起，將低概率同時(shí)訪問的數(shù)據(jù)分開存儲(chǔ)。核心模型與擴(kuò)展模型分離建立核心模型與擴(kuò)展模型體系，核心模型包括的字段支持常用的核心業(yè)務(wù)，擴(kuò)展模型包括的字段支持個(gè)性化或少量應(yīng)用的需要，不能讓擴(kuò)展模型的宇段過度侵入核心模型，以免破壞核心模型的架構(gòu)簡潔性與可維護(hù)性。公共處理邏輯下沉及單一越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公用的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，不要讓公共邏輯多處同時(shí)存在。成本與性能平衡適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制。數(shù)據(jù)可回滾處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變。一致性具有相同含義的字段在不同表中的命名必須相同，必須使用規(guī)范定義中的名稱。命名清晰、可理解表命名需清晰、一致，表名需易于消費(fèi)者理解和使用。2.4模型實(shí)施2.4.1業(yè)界常用模型實(shí)施過程構(gòu)建維度模型一般要經(jīng)歷四個(gè)階段：第一個(gè)階段是高層模型設(shè)計(jì)時(shí)期，定義業(yè)務(wù)過程維度模型的范圍，提供每種星形模式的技術(shù)和功能描述；直接產(chǎn)出目標(biāo)是創(chuàng)建高層維度模型圖，它是對業(yè)務(wù)過程中的維表和事實(shí)表的圖形描述。確定維表創(chuàng)建初始屬性列表，為每個(gè)事實(shí)表創(chuàng)建提議度量；第二個(gè)階段是詳細(xì)模型設(shè)計(jì)時(shí)期，對每個(gè)星形模型添加屬性和度量信息；確定每個(gè)維表的屬性和每個(gè)事實(shí)表的度量，并確定信息來源的位置、定義，確定屬性和度量如何填入模型的初步業(yè)務(wù)規(guī)則。第三個(gè)階段是進(jìn)行模型的審查、再設(shè)計(jì)和驗(yàn)證，本階段主要召集相關(guān)人員進(jìn)行模型的審查和驗(yàn)證，根據(jù)審查結(jié)果對詳細(xì)維度進(jìn)行再設(shè)計(jì)。第四個(gè)階段是產(chǎn)生詳細(xì)設(shè)計(jì)文檔，提交ETL設(shè)計(jì)和開發(fā)，最后，完成模型詳細(xì)設(shè)計(jì)文檔，提交ETL開發(fā)人員，進(jìn)入ETL設(shè)計(jì)和開發(fā)階段，由ETL人員完成物理模型的設(shè)計(jì)和開發(fā)。2.4.2OneData實(shí)施過程指導(dǎo)方針首先，在建設(shè)大數(shù)據(jù)數(shù)據(jù)倉庫時(shí)，要進(jìn)行充分的業(yè)務(wù)調(diào)研和需求分析。這是數(shù)據(jù)倉庫建設(shè)的基石，業(yè)務(wù)調(diào)研和需求分析做得是否充分直接決定了數(shù)據(jù)倉庫建設(shè)是否成功。其次，進(jìn)行數(shù)據(jù)總體架構(gòu)設(shè)計(jì)，主要是根據(jù)數(shù)據(jù)域?qū)?shù)據(jù)進(jìn)行劃分；按照維度建模理論，構(gòu)建總線矩陣、抽象出業(yè)務(wù)過程和維度。再次，對報(bào)表需求進(jìn)行抽象整理出相關(guān)指標(biāo)體系，使用OneData工具完成指標(biāo)規(guī)范定義和模型設(shè)計(jì)。最后，就是代碼研發(fā)和運(yùn)維。實(shí)施工作流（1）數(shù)據(jù)調(diào)研業(yè)務(wù)調(diào)研：需要了解各個(gè)業(yè)務(wù)領(lǐng)域、業(yè)務(wù)線的業(yè)務(wù)有什么共同點(diǎn)和不同點(diǎn)，以及各個(gè)業(yè)務(wù)線可以細(xì)分為哪幾個(gè)業(yè)務(wù)模塊，每個(gè)業(yè)務(wù)模塊具體的業(yè)務(wù)流程又是怎樣的。業(yè)務(wù)調(diào)研是否充分，將會(huì)直接決定數(shù)據(jù)倉庫建設(shè)是否成功需求調(diào)研：需求調(diào)研的途徑有兩種：一是根據(jù)與分析師、業(yè)務(wù)運(yùn)營人員的溝通（郵件、IM）獲知需求；二是對報(bào)表系統(tǒng)中現(xiàn)有的報(bào)表進(jìn)行研究分析；（2）架構(gòu)設(shè)計(jì)數(shù)據(jù)域劃分?jǐn)?shù)據(jù)域是指面向業(yè)務(wù)分析，將業(yè)務(wù)過程或者維度進(jìn)行抽象的集合。業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件，如下單、支付、退款。數(shù)據(jù)域需要抽象提煉，并且長期維護(hù)和更新，但不輕易變動(dòng)。構(gòu)建總線矩陣在進(jìn)行充分的業(yè)務(wù)調(diào)研和需求調(diào)研后，就要構(gòu)建總線矩陣了。需要做兩件事情：明確每個(gè)數(shù)據(jù)域下有哪些業(yè)務(wù)過程；業(yè)務(wù)過程與哪些維度相關(guān)，并定義每個(gè)數(shù)據(jù)域下的業(yè)務(wù)過程和維度。規(guī)范定義規(guī)范定義主要定義指標(biāo)體系，包括原子指標(biāo)、修飾詞、時(shí)間周期和派生指標(biāo)。模型設(shè)計(jì)模型設(shè)計(jì)主要包括維度及屬性的規(guī)范定義，維表、明細(xì)事實(shí)表和匯總事實(shí)表的模型設(shè)計(jì)?？偨Y(jié)OneData的實(shí)施過程是一個(gè)高度迭代和動(dòng)態(tài)的過程，一般采用螺旋式實(shí)施方法。在總體架構(gòu)設(shè)計(jì)完成之后，開始根據(jù)數(shù)據(jù)域進(jìn)行迭代式模型設(shè)計(jì)和評(píng)審。在架構(gòu)設(shè)計(jì)、規(guī)范定義和模型設(shè)計(jì)等模型實(shí)施過程中，都會(huì)引入評(píng)審機(jī)制，以確保模型實(shí)施過程的正確性。第3章維度設(shè)計(jì)3.1維度設(shè)計(jì)基礎(chǔ)3.1.1維度的基本概念維度建模中，將度量稱為“事實(shí)”，將環(huán)境描述為“維度”，維度是用于分析事實(shí)所需要的多樣環(huán)境。例如，在分析交易過程時(shí)，可以通過買家、賣家、商品和時(shí)間等維度描述交易發(fā)生的環(huán)境。維度所包含的表示維度的列，稱為維度屬性。維度屬性是查詢約束條件、分組和報(bào)表標(biāo)簽生成的基本來源，是數(shù)據(jù)易用性的關(guān)鍵。維度使用主鍵標(biāo)識(shí)其唯一性，主鍵也是確保與之相連的任何事實(shí)表之間存在引用完整性的基礎(chǔ)。3.1.2維度的基本設(shè)計(jì)方法選擇維度或新建維度。須保證維度的唯一性。確定主維表。一般是ODS表，直接與業(yè)務(wù)系統(tǒng)同步。確定相關(guān)維表。確定哪些表和主維表存在關(guān)聯(lián)關(guān)系，并選擇其中的某些表用于生成維度屬性。確定維度屬性。第一階段從主維表中選擇維度屬性或生成新的維度屬性；第二階段是從相關(guān)維表中選擇維度屬性或生成新的維度屬性。確認(rèn)維度屬性的幾點(diǎn)提示：盡可能生成豐富的維度屬性盡可能多地給出包括一些富有意義的文字性描述區(qū)分?jǐn)?shù)值型屬性和事實(shí)如果通常用于查詢約束條件或分組統(tǒng)計(jì)，則是作為維度屬性；如果通常用于參與度量的計(jì)算，則是作為事實(shí)。比如商品價(jià)格，可以用于查詢約束條件或統(tǒng)計(jì)價(jià)格區(qū)間的商品數(shù)量，此時(shí)是作為維度屬性使用的；也可以用于統(tǒng)計(jì)某類目下商品的平均價(jià)格，此時(shí)是作為事實(shí)使用的。另外，如果數(shù)值型字段是離散值，則作為維度屬性存在的可能性較大；如果數(shù)值型宇段是連續(xù)值，則作為度量存在的可能性較大，但并不絕對，需要同時(shí)參考宇段的具體用途。盡量沉淀出通用的維度屬性3.1.3一致性維度和交叉探查共享維表。比如在阿里巴巴的數(shù)據(jù)倉庫中，商品、賣家、買家、類目等維度有且只有一個(gè)。所以基于這些公共維度進(jìn)行的交叉探查不會(huì)存在任何問題。一致性上卷。其中一個(gè)維度的維度屬性是另一個(gè)維度的維度屬性的子集，且兩個(gè)維度的公共維度屬性結(jié)構(gòu)和內(nèi)容相同。比如在阿里巴巴的商品體系中，有商品維度和類目維度，其中類目維度的維度屬性是商品維度的維度屬性的子集，且有相同的維度屬性和維度屬性值。這樣基于類目維度進(jìn)行不同業(yè)務(wù)過程的交叉探查也不會(huì)存在任何問題。交叉屬性。兩個(gè)維度具有部分相同的維度屬性。比如在商品維度中具有類目屬性，在賣家維度中具有主營類目屬性，兩個(gè)維度具有相同的類目屬性，則可以在相同的類目屬性上進(jìn)行不同業(yè)務(wù)過程的交叉探查。3.2維度設(shè)計(jì)高級(jí)主題3.2.1維度整合應(yīng)用間差異：應(yīng)用在編碼、命名習(xí)慣、度量單位等方面會(huì)存在很大的差異。應(yīng)用出于性能和擴(kuò)展性的考慮，或者隨技術(shù)架構(gòu)的演變，以及業(yè)務(wù)的發(fā)展，采用不同的物理實(shí)現(xiàn)。集成類型（同維度整合）：命名規(guī)范的統(tǒng)一。表名、字段名等統(tǒng)一。字段類型的統(tǒng)一。相同和相似字段的字段類型統(tǒng)一。公共代碼及代碼值的統(tǒng)一。公共代碼及標(biāo)志性字段的數(shù)據(jù)類型、命名方式等統(tǒng)一。業(yè)務(wù)含義相同的表的統(tǒng)一。主要依據(jù)高內(nèi)聚、低耦合的理念，在物理實(shí)現(xiàn)中，將業(yè)務(wù)關(guān)系大、源系統(tǒng)影響差異小的表進(jìn)行整合：將業(yè)務(wù)關(guān)系小、源系統(tǒng)影響差異大的表進(jìn)行分而置之。通常有如下幾種集成方式：采用主從表的設(shè)計(jì)方式，將兩個(gè)表或多個(gè)表都有的字段放在主表中（主要基本信息），從屬信息分別放在各自的從表中。對于主表中的主鍵，要么采用復(fù)合主鍵、源主鍵和系統(tǒng)或表區(qū)別標(biāo)志：要么采用唯一主鍵、“源主鍵和系統(tǒng)或表區(qū)別標(biāo)志”生成新的主鍵。通常建議采用復(fù)合主鍵的方式。直接合并，共有信息和個(gè)性信息都放在同一個(gè)表中。如果表字段的重合度較低，則會(huì)出現(xiàn)大量空值，對于存儲(chǔ)和易用性會(huì)有影響，需謹(jǐn)慎選擇。不合并，因?yàn)樵幢淼谋斫Y(jié)構(gòu)及主鍵等差異很大，無法合并，使用數(shù)據(jù)倉庫里的多個(gè)表存放各自的數(shù)據(jù)。表整合：垂直整合：不同的來源表包含相同的數(shù)據(jù)集，只是存儲(chǔ)的信息不同，比如主表與擴(kuò)展表的整合，豐富其維度屬性。水平整合：不同的來源表包含不同的數(shù)據(jù)集，不同子集之間無交叉，也可以存在部分交叉。存在交叉，則需要去重不存在交叉，則需要考慮不同子集的自然鍵是否存在沖突如果不沖突，則可以考慮將各子集的自然鍵作為整合后的表的自然鍵設(shè)置超自然鍵，將來源表各子集的自然鍵加工成一個(gè)字段作為超自然鍵（即聯(lián)合主鍵，阿里采用該方法，并將來源字段作為分區(qū)字段）3.2.2水平拆分如何設(shè)計(jì)維度：模型設(shè)計(jì)重點(diǎn)考慮的三個(gè)原則：擴(kuò)展性：當(dāng)源系統(tǒng)、業(yè)務(wù)邏輯變化時(shí)，能通過較少的成本快速擴(kuò)展模型，保持核心模型的相對穩(wěn)定性。軟件工程中的高內(nèi)聚、低藕合的思想是重要的指導(dǎo)方針之一。效能：在性能和成本方面取得平衡。通過犧牲一定的存儲(chǔ)成本，達(dá)到性能和邏輯的優(yōu)化。易用性：模型可理解性高、訪問復(fù)雜度低。用戶能夠方便地從模型中找到對應(yīng)的數(shù)據(jù)表，并能夠方便地查詢和分析。模型設(shè)計(jì)重點(diǎn)考慮的兩個(gè)依據(jù)：維度的不同分類的屬性差異情況。當(dāng)維度屬性隨類型變化較大時(shí)，采用方案1。業(yè)務(wù)的關(guān)聯(lián)程度。兩個(gè)相關(guān)性較低的業(yè)務(wù)，稠合在一起弊大于利，對模型的穩(wěn)定性和易用性影響較大，采用方案2。方案參考：方案1是將維度的不同分類實(shí)例化為不同的維度，同時(shí)在主維度中保存公共屬性，適合于當(dāng)維度屬性隨類型變化較大的情形構(gòu)建商品維度、航旅商品維度：不同分類的商品，其維度屬性可能相同，也可能不同。比如航旅的商品和普通的淘系商品，都屬于商品，都有商品價(jià)格、標(biāo)題、類型、上架時(shí)間、類目等維度屬性，但是航旅的商品除了有這些公共屬性外，還有酒店、景點(diǎn)、門票、旅行等自己獨(dú)特的維度屬性。方案2是維護(hù)單一維度，包含所有可能的屬性對淘系商品和1688商品構(gòu)建兩個(gè)維度，業(yè)務(wù)分析人員一般只針對本數(shù)據(jù)集市進(jìn)行統(tǒng)計(jì)分析。1688業(yè)務(wù)變更，此維度需要變更，淘寶業(yè)務(wù)變更亦然，穩(wěn)定性很差。3.2.3垂直拆分出于擴(kuò)展性、產(chǎn)出時(shí)間、易用性等方面的考慮，設(shè)計(jì)主從維度。主維表存放穩(wěn)定、產(chǎn)出時(shí)間早、熱度高的屬性；從維表存放變化較快、產(chǎn)出時(shí)間晚、熱度低的屬性。設(shè)計(jì)了商品主維度和商品擴(kuò)展維度。其中商品主維度在每日的1：30左右產(chǎn)出，而商品擴(kuò)展維度由于有冗余的產(chǎn)出時(shí)間較晚的商品品牌和標(biāo)簽信息，在每日的3：00左右產(chǎn)出。由于商品擴(kuò)展維度有冗余的庫存等變化較快的數(shù)據(jù)，對于主維度進(jìn)行緩慢變化的處理較為重要。通過存儲(chǔ)的冗余和計(jì)算成本的增加，實(shí)現(xiàn)了商品主模型的穩(wěn)定和產(chǎn)出時(shí)間的提前。3.2.4歷史歸檔歸檔策略1：同前臺(tái)歸檔策略，在數(shù)據(jù)倉庫中實(shí)現(xiàn)前臺(tái)歸檔算法，定期對歷史數(shù)據(jù)進(jìn)行歸檔。但存在一些問題，一是前臺(tái)歸檔策略復(fù)雜，實(shí)現(xiàn)成本較高；二是前臺(tái)歸檔策略可能會(huì)經(jīng)常變化，導(dǎo)致數(shù)據(jù)倉庫歸檔算法也要隨之變化，維護(hù)和溝通成本較高。此方式適用于前臺(tái)歸檔策略邏輯較為簡單，且變更不頻繁的情況。歸檔策略2：同前臺(tái)歸檔策略，但采用數(shù)據(jù)庫變更日志的方式。對于如此龐大的數(shù)據(jù)量，阿里巴巴采用的數(shù)據(jù)抽取策略一般是通過數(shù)據(jù)庫binlog日志解析獲取每日增量，通過增量merge全量的方式獲取最新的全量數(shù)據(jù)?？梢允褂迷隽咳罩镜膭h除標(biāo)志，作為前臺(tái)數(shù)據(jù)歸檔的標(biāo)志。通過此標(biāo)志對數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行歸檔。此方式不需要關(guān)注前臺(tái)歸檔策略，簡單易行。但對前臺(tái)應(yīng)用的要求是數(shù)據(jù)庫的物理刪除只有在歸檔時(shí)才執(zhí)行，應(yīng)用中的刪除只是邏輯刪除。歸檔策略3：數(shù)據(jù)倉庫自定義歸檔策略?？梢詫w檔算法用簡單、直接的方式實(shí)現(xiàn)，但原則是盡量比前臺(tái)應(yīng)用晚歸檔、少歸檔。避免出現(xiàn)數(shù)據(jù)倉庫中已經(jīng)歸檔的數(shù)據(jù)再次更新的情況。如果技術(shù)條件允許，能夠解析數(shù)據(jù)庫binlog日志，建議使用歸檔策略2，規(guī)避前臺(tái)歸檔算法。具體可以根據(jù)自身數(shù)據(jù)倉庫的實(shí)際情況進(jìn)行選擇。3.3維度變化3.3.1緩慢變化維在Kimball的理論中，有三種處理緩慢變化維的方式，可以根據(jù)業(yè)務(wù)需求來進(jìn)行選擇：重寫維度值。不保留歷史數(shù)據(jù)，始終取最新數(shù)據(jù)（假設(shè)業(yè)務(wù)需求方不關(guān)心歷史數(shù)據(jù)，則可以采用方案1）插入新的維度行。保留歷史數(shù)據(jù)，維度值變化前的事實(shí)和過去的維度值關(guān)聯(lián)，維度值變化后的事實(shí)和當(dāng)前的維度值關(guān)聯(lián)。添加維度列。采用第二種處理方式不能將變化前后記錄的事實(shí)歸一為變化前的維度或者歸一為變化后的維度（不同業(yè)務(wù)部門需要統(tǒng)計(jì)各自的業(yè)績，則需要保留歷史數(shù)據(jù)）3.3.2快照維表在Kimball的維度建模中，必須使用代理鍵（不具有業(yè)務(wù)含義的鍵，區(qū)別于自然鍵）作為每個(gè)維表的主鍵，用于處理緩慢變化維。阿里不使用代理鍵的原因：數(shù)據(jù)量大、ETL復(fù)雜化；不直接使用拉鏈表的原因：解釋成本高、隨著時(shí)間的推移，分區(qū)數(shù)量會(huì)極度膨脹阿里通過快照方式，每天保留一份全量快照數(shù)據(jù)，簡單而有效，方便好理解，但造成存儲(chǔ)浪費(fèi)，因此配合極限存儲(chǔ)。3.3.3極限存儲(chǔ)透明化底層的數(shù)據(jù)還是歷史拉鏈存儲(chǔ)，但是上層做一個(gè)視圖操作或者在Hive里做一個(gè)hook，通過分析語句的語法樹，把對極限存儲(chǔ)前的表的查詢轉(zhuǎn)換成對極限存儲(chǔ)表的查詢。分月做歷史拉鏈表每個(gè)月月初重新開始做歷史拉鏈表局限性：首先，其產(chǎn)出效率很低，大部分極限存儲(chǔ)通常需要t-2；其次，對于變化頻率高的數(shù)據(jù)并不能達(dá)到節(jié)約成本的效果。在做極限存儲(chǔ)前有一個(gè)全量存儲(chǔ)表，全量存儲(chǔ)表僅保留最近一段時(shí)間的全量分區(qū)數(shù)據(jù)，歷史數(shù)據(jù)通過映射的方式關(guān)聯(lián)到極限存儲(chǔ)表。即用戶只訪問全量存儲(chǔ)表，所以對用戶來說極限存儲(chǔ)是不可見的。對于部分變化頻率頻繁的宇段需要過濾。例如，用戶表中存在用戶積分宇段，這種宇段的值每天都在發(fā)生變化，如果不過濾的話，極限存儲(chǔ)就相當(dāng)于每個(gè)分區(qū)存儲(chǔ)一份全量數(shù)據(jù)，起不到節(jié)約存儲(chǔ)成本的效果。3.3.4微型維度微型維度的創(chuàng)建是通過將一部分不穩(wěn)定的屬性從主維度中移出，并將它們放置到擁有自己代理鍵的新表中來實(shí)現(xiàn)的。這些屬性相互之間沒有直接關(guān)聯(lián)，不存在自然鍵。通過為每個(gè)組合創(chuàng)建新行的一次性過程來加載數(shù)據(jù)。比如淘寶用戶維度，用戶的注冊日期、年齡、性別、身份信息等基本不會(huì)發(fā)生變化，但用戶VIP等級(jí)、用戶信用評(píng)價(jià)等級(jí)會(huì)隨著用戶的行為不斷發(fā)生變化。其中VIP等級(jí)共有8個(gè)值，即-1～6；用戶信用評(píng)價(jià)等級(jí)共有18個(gè)值。假設(shè)基于VIP等級(jí)和用戶信用評(píng)價(jià)等級(jí)構(gòu)建微型維度，則在此微型維度中共有8x18個(gè)組合，即144條記錄，代理鍵可能是1～144阿里在實(shí)踐中并未使用此技術(shù)：微型維度的局限性：必須是枚舉值，且考慮所有可能組合ETL邏輯復(fù)雜破壞了維度的可瀏覽性3.4特殊維度3.4.1遞歸層次維度的遞歸層次，按照層級(jí)是否固定分為均衡層次結(jié)構(gòu)（如一級(jí)類目、二級(jí)類目等）和非均衡層次結(jié)構(gòu)（如公司之間的公司，數(shù)量級(jí)別不固定）遞歸SQL成本較高，且很多工具不支持遞歸SQL，因此在維度模型中對層次結(jié)構(gòu)進(jìn)行處理層次結(jié)構(gòu)扁平化扁平化僅包含固定數(shù)量的級(jí)別，對于非平衡層次結(jié)構(gòu)，可以通過預(yù)留級(jí)別的方式來解決，但擴(kuò)展性較差（圖為阿里巴巴中文站的類目體系，粗體部分為回填內(nèi)容）層次橋接表解決了層次結(jié)構(gòu)扁平化帶來的一些問題，加工邏輯復(fù)雜，使用邏輯復(fù)雜，實(shí)際工作很少應(yīng)用3.4.2行為維度理解為事實(shí)衍生的維度，按照加工方式劃分：另一個(gè)維度的過去行為，如買家最近一次訪問淘寶的時(shí)間、買家最近一次發(fā)生淘寶交易的時(shí)間等?？煺帐聦?shí)行為維度，如買家從年初截至當(dāng)前的淘寶交易金額、買家信用分值、賣家信用分值等。分組事實(shí)行為維度，將數(shù)值型事實(shí)轉(zhuǎn)換為枚舉值。如買家從年初截至當(dāng)前的淘寶交易金額按照金額劃分的等級(jí)、買家信用分值按照分?jǐn)?shù)劃分得到的信用等級(jí)等。復(fù)雜邏輯事實(shí)行為維度，通過復(fù)雜算法加工或多個(gè)事實(shí)綜合加工得到。如前面提到的賣家主營類目，商品熱度根據(jù)訪問、收藏、加入購物車、交易等情況綜合計(jì)算得到。對于行為維度，有兩種處理方式，其中一種是將其冗余至現(xiàn)有的維表中，如將賣家信用等級(jí)冗余至賣家維表中另一種是加工成單獨(dú)的行為維表，如賣家主營類目。具體采用哪種方式主要參考如下兩個(gè)原則：第一，避免維度過快增長。比如對商品表進(jìn)行了極限存儲(chǔ)，如果將商品熱度加入現(xiàn)有的商品維表中，則可能會(huì)使每日商品變更占比過高，從而導(dǎo)致極限存儲(chǔ)效果較差。第二，避免耦合度過高。比如賣家主營類目，加工邏輯異常復(fù)雜，如果融合進(jìn)現(xiàn)有的賣家維表中，那么過多的業(yè)務(wù)稠合會(huì)導(dǎo)致賣家維表刷新邏輯復(fù)雜、維護(hù)性差、產(chǎn)出延遲等。3.4.3多值維度e.g.交易父訂單事實(shí)表與商品表多值維度的處理方式降低事實(shí)表的粒度（子訂單建立事實(shí)）采用多字段（售樓合同，多個(gè)買受方，已是最細(xì)粒度；由于個(gè)數(shù)不會(huì)太多，預(yù)留字段：買受方1，買受方2，買受方3）橋接表：通過橋接表，則會(huì)產(chǎn)生多條重復(fù)記錄，業(yè)務(wù)上注意區(qū)分重復(fù)計(jì)算是否符合業(yè)務(wù)邏輯3.4.4多值屬性e.g.商品和SKU、屬性、標(biāo)簽都是多對多的關(guān)系多值屬性的處理方式：保持維度主鍵不變，將多值屬性放在維度的一個(gè)屬性字段中（通過k-v對的形式放在property字段中，數(shù)據(jù)示例如下：10281239:156426871;137396765:29229;137400766:3226633）保持維度主鍵不變，但將多值屬性放在維度的多個(gè)屬性字段中（賣家主營類目，只取TOP3）維度主鍵發(fā)生變化，一個(gè)維度值存放多條記錄，擴(kuò)展性好，使用方便（比如商品SKU維表，對于每個(gè)商品，有多少SKU，就有多少記錄，主鍵是商品的ID和SKU的ID）3.4.5雜項(xiàng)維度雜項(xiàng)維度是由操作型系統(tǒng)中的指示符或者標(biāo)志宇段組合而成的，一般不在一致性維度之列。將這些字段建立到一個(gè)維表中，在事實(shí)表中只需保存一個(gè)外鍵即可。多個(gè)字段的不同取值組成一條記錄，生成代理鍵，存入維表中，并將該代理鍵保存到相應(yīng)的事實(shí)表字段下。建議不要直接使用所有的組合生成完整的雜項(xiàng)維表，在抽取遇到新的組合時(shí)生成相應(yīng)的記錄即可。阿里：存在非枚舉字段，如交易留言、交易屬性、交易標(biāo)簽等；通過子訂單維度實(shí)現(xiàn)，且作為邏輯模型，不進(jìn)行物理化。第4章事實(shí)表設(shè)計(jì)4.1事實(shí)表基礎(chǔ)4.1.1事實(shí)表特性事實(shí)表作為數(shù)據(jù)倉庫維度建模的核心，緊緊圍繞著業(yè)務(wù)過程來設(shè)計(jì)，通過獲取描述業(yè)務(wù)過程的度量來表達(dá)業(yè)務(wù)過程，包含了引用的維度和與業(yè)務(wù)過程有關(guān)的度量。事實(shí)表中一條記錄所表達(dá)的業(yè)務(wù)細(xì)節(jié)程度被稱為粒度。通常粒度可以通過兩種方式來表述：一種是維度屬性組合所表示的細(xì)節(jié)程度：一種是所表示的具體業(yè)務(wù)含義。作為度量業(yè)務(wù)過程的事實(shí)，一般為整型或浮點(diǎn)型的十進(jìn)制數(shù)值，有可加性、半可加性和不可加性三種類型?？杉有允聦?shí)是指可以按照與事實(shí)表關(guān)聯(lián)的任意維度進(jìn)行匯總。半可加性事實(shí)只能按照特定維度匯總，不能對所有維度匯總，比如庫存可以按照地點(diǎn)和商品進(jìn)行匯總，而按時(shí)間維度把一年中每個(gè)月的庫存累加起來則毫無意義。完全不具備可加性，比如比率型事實(shí)。對于不可加性事實(shí)可分解為可加的組件來實(shí)現(xiàn)聚集。維度屬性也可以存儲(chǔ)到事實(shí)表中，這種存儲(chǔ)到事實(shí)表中的維度列被稱為“退化維度”。與其他存儲(chǔ)在維表中的維度一樣，退化維度也可以用來進(jìn)行事實(shí)表的過濾查詢、實(shí)現(xiàn)聚合操作等。事實(shí)表有三種類型:事務(wù)事實(shí)表、周期快照事實(shí)表和累積快照事實(shí)表。事務(wù)事實(shí)表用來描述業(yè)務(wù)過程，跟蹤空間或時(shí)間上某點(diǎn)的度量事件，保存的是最原子的數(shù)據(jù)，也稱為“原子事實(shí)表“。周期快照事實(shí)表以具有規(guī)律性的、可預(yù)見的時(shí)間間隔記錄事實(shí)，時(shí)間間隔如每天、每月、每年等。累積快照事實(shí)表用來表述過程開始和結(jié)束之間的關(guān)鍵步驟事件，覆蓋過程的整個(gè)生命周期，通常具有多個(gè)日期字段來記錄關(guān)鍵時(shí)間點(diǎn)，當(dāng)過程隨著生命周期不斷變化時(shí)，記錄也會(huì)隨著過程的變化而被修改。4.1.2事實(shí)表設(shè)計(jì)原則原則1：盡可能包含所有與業(yè)務(wù)過程相關(guān)的事實(shí)事實(shí)表設(shè)計(jì)的目的是為了度量業(yè)務(wù)過程，所以分析哪些事實(shí)與業(yè)務(wù)過程有關(guān)是設(shè)計(jì)中非常重要的關(guān)注點(diǎn)。在事實(shí)表中應(yīng)該盡量包含所有與業(yè)務(wù)過程相關(guān)的事實(shí)，即使存在冗余，但是因?yàn)槭聦?shí)通常為數(shù)字型，帶來的存儲(chǔ)開銷也不會(huì)很大。原則2：只選擇與業(yè)務(wù)過程相關(guān)的事實(shí)在選擇事實(shí)時(shí)，應(yīng)該注意只選擇與業(yè)務(wù)過程有關(guān)的事實(shí)。比如在訂單的下單這個(gè)業(yè)務(wù)過程的事實(shí)表設(shè)計(jì)中，不應(yīng)該存在支付金額這個(gè)表示支付業(yè)務(wù)過程的事實(shí)。原則3：分解不可加性事實(shí)為可加的組件對于不具備可加性條件的事實(shí)，需要分解為可加的組件。比如訂單的優(yōu)惠率，應(yīng)該分解為訂單原價(jià)金額與訂單優(yōu)惠金額兩個(gè)事實(shí)存儲(chǔ)在事實(shí)表中。原則4：在選擇維度和事實(shí)之前必須先聲明粒度粒度的聲明是事實(shí)表設(shè)計(jì)中不可忽視的重要一步，粒度用于確定事實(shí)表中一行所表示業(yè)務(wù)的細(xì)節(jié)層次，決定了維度模型的擴(kuò)展性，在選擇維度和事實(shí)之前必須先聲明粒度，且每個(gè)維度和事實(shí)必須與所定義的粒度保持一致。在設(shè)計(jì)事實(shí)表的過程中，粒度定義得越細(xì)越好，建議從最低級(jí)別的原子粒度開始，因?yàn)樵恿６忍峁┝俗畲笙薅鹊撵`活性，可以支持無法預(yù)期的各種細(xì)節(jié)層次的用戶需求。在事實(shí)表中，通常通過業(yè)務(wù)描述來表述粒度，但對于聚集性事實(shí)表的粒度描述，可采用維度或維度屬性組合的方式。原則5：在同一個(gè)事實(shí)表中不能有多種不同粒度的事實(shí)事實(shí)表中的所有事實(shí)需要與表定義的粒度保持一致，在同一個(gè)事實(shí)表中不能有多種不同粒度的事實(shí)。原則6：事實(shí)的單位要保持一致對于同一個(gè)事實(shí)表中事實(shí)的單位，應(yīng)該保持一致。比如原訂單金額、訂單優(yōu)惠金額、訂單運(yùn)費(fèi)金額這三個(gè)事實(shí)，應(yīng)該采用一致的計(jì)量單位，統(tǒng)一為元或分，以方便使用。原則7：對事實(shí)的null值要處理對于事實(shí)表中事實(shí)度量為null值的處理，因?yàn)樵跀?shù)據(jù)庫中null值對常用數(shù)字型字段的SQL過濾條件都不生效，比如大于、小于、等于、大于或等于、小于或等于，建議用零值填充。原則8：使用退化維度提高事實(shí)表的易用性在Kimball的維度建模中，通常按照星形模型的方式來設(shè)計(jì)，對于維度的獲取采用的是通過事實(shí)表的外鍵關(guān)聯(lián)專門的維表的方式，謹(jǐn)慎使用退化維度。而在大數(shù)據(jù)領(lǐng)域的事實(shí)表設(shè)計(jì)中，則大量采用退化維度的方式，在事實(shí)表中存儲(chǔ)各種類型的常用維度信息。這樣設(shè)計(jì)的目的主要是為了減少下游用戶使用時(shí)關(guān)聯(lián)多個(gè)表的操作，直接通過退化維度實(shí)現(xiàn)對事實(shí)表的過濾查詢、控制聚合層次、排序數(shù)據(jù)以及定義主從關(guān)系等。通過增加冗余存儲(chǔ)的方式減少計(jì)算開銷，提高使用效率。4.1.3事實(shí)表設(shè)計(jì)方法對于維度模型設(shè)計(jì)采用四步設(shè)計(jì)方法：選擇業(yè)務(wù)過程、聲明粒度、確定維度、確定事實(shí)。選擇業(yè)務(wù)過程及確定事實(shí)表類型在明確了業(yè)務(wù)需求以后，接下來需要進(jìn)行詳細(xì)的需求分析，對業(yè)務(wù)的整個(gè)生命周期進(jìn)行分析，明確關(guān)鍵的業(yè)務(wù)步驟，從而選擇與需求有關(guān)的業(yè)務(wù)過程。業(yè)務(wù)過程通常使用行為動(dòng)詞表示業(yè)務(wù)執(zhí)行的活動(dòng)。比如圖4.1中的淘寶訂單流轉(zhuǎn)的業(yè)務(wù)過程有四個(gè)：創(chuàng)建訂單、買家付款、賣家發(fā)貨、買家確認(rèn)收貨。在明確了流程所包含的業(yè)務(wù)過程后，需要根據(jù)具體的業(yè)務(wù)需求來選擇與維度建模有關(guān)的業(yè)務(wù)過程。比如是選擇買家付款這個(gè)業(yè)務(wù)過程，還是選擇創(chuàng)建訂單和買家付款這兩個(gè)業(yè)務(wù)過程，具體根據(jù)業(yè)務(wù)情況來確定。在選擇了業(yè)務(wù)過程以后，相應(yīng)的事實(shí)表類型也隨之確定了。比如選擇買家付款這個(gè)業(yè)務(wù)過程，那么事實(shí)表應(yīng)為只包含買家付款這一個(gè)業(yè)務(wù)過程的單事務(wù)事實(shí)表；如果選擇的是所有四個(gè)業(yè)務(wù)過程，并且需要分析各個(gè)業(yè)務(wù)過程之間的時(shí)間間隔，那么所建立的事實(shí)表應(yīng)為包含了所有四個(gè)業(yè)務(wù)過程的累積快照事實(shí)表。聲明粒度粒度的聲明是事實(shí)表建模非常重要的一步，意味著精確定義事實(shí)表的每一行所表示的業(yè)務(wù)含義，粒度傳遞的是與事實(shí)表度量有關(guān)的細(xì)節(jié)層次。明確的粒度能確保對事實(shí)表中行的意思的理解不會(huì)產(chǎn)生混淆，保證所有的事實(shí)按照同樣的細(xì)節(jié)層次記錄。應(yīng)該盡量選擇最細(xì)級(jí)別的原子粒度，以確保事實(shí)表的應(yīng)用具有最大的靈活性。同時(shí)對于訂單過程而言，粒度可以被定義為最細(xì)的訂單級(jí)別。比如在淘寶訂單中有父子訂單的概念，即一個(gè)子訂單對應(yīng)一種商品，如果拍下了多種商品，則每種商品對應(yīng)一個(gè)子訂單:這些子訂單一同結(jié)算的話，則會(huì)生成一個(gè)父訂單。那么在這個(gè)例子中，事實(shí)表的粒度應(yīng)該選擇為子訂單級(jí)別。確定維度完成粒度聲明以后，也就意味著確定了主鍵，對應(yīng)的維度組合以及相關(guān)的維度字段就可以確定了，應(yīng)該選擇能夠描述清楚業(yè)務(wù)過程所處的環(huán)境的維度信息。比如在淘寶訂單付款事務(wù)事實(shí)表中，粒度為子訂單，相關(guān)的維度有買家、賣家、商品、收貨人信息、業(yè)務(wù)類型、訂單時(shí)間等維度。確定事實(shí)事實(shí)可以通過回答“過程的度量是什么”來確定。應(yīng)該選擇與業(yè)務(wù)過程有關(guān)的所有事實(shí)，且事實(shí)的粒度要與所聲明的事實(shí)表的粒度一致。事實(shí)有可加性、半可加性、非可加性三種類型，需要將不可加性事實(shí)分解為可加的組件。比如在淘寶訂單付款事務(wù)事實(shí)表中，同粒度的事實(shí)有子訂單分?jǐn)偟闹Ц督痤~、郵費(fèi)、優(yōu)惠金額等。冗余維度在傳統(tǒng)的維度建模的星形模型中，對維度的處理是需要單獨(dú)存放在專門的維表中的，通過事實(shí)表的外鍵獲取維度。這樣做的目的是為了減少事實(shí)表的維度冗余，從而減少存儲(chǔ)消耗。而在大數(shù)據(jù)的事實(shí)表模型設(shè)計(jì)中，考慮更多的是提高下游用戶的使用效率，降低數(shù)據(jù)獲取的復(fù)雜性，減少關(guān)聯(lián)的表數(shù)量。所以通常事實(shí)表中會(huì)冗余方便下游用戶使用的常用維度，以實(shí)現(xiàn)對事實(shí)表的過濾查詢、控制聚合層次、排序數(shù)據(jù)以及定義主從關(guān)系等操作。比如在淘寶訂單付款事務(wù)事實(shí)表中，通常會(huì)冗余大量的常用維度字段，以及商品類目、賣家店鋪等維度信息。4.2事務(wù)事實(shí)表訂單作為交易行為的核心載體，直觀反映了交易的狀況。訂單的流轉(zhuǎn)會(huì)產(chǎn)生很多業(yè)務(wù)過程，而下單、支付和成功完結(jié)三個(gè)業(yè)務(wù)過程是整個(gè)訂單的關(guān)鍵節(jié)點(diǎn)。獲取這三個(gè)業(yè)務(wù)過程的筆數(shù)、金額以及轉(zhuǎn)化率是日常數(shù)據(jù)統(tǒng)計(jì)分析的重點(diǎn)，事務(wù)事實(shí)表設(shè)計(jì)可以很好地滿足這個(gè)需求。本節(jié)將介紹三種不同事務(wù)事實(shí)表的設(shè)計(jì)方式，以及在淘寶交易訂單中關(guān)于郵費(fèi)和折扣分?jǐn)偟阶佑唵蔚乃惴ā?.2.1設(shè)計(jì)過程任何類型的事件都可以被理解為一種事務(wù)。比如交易過程中的創(chuàng)建訂單、買家付款，物流過程中的攬貨、發(fā)貨、簽收，退款中的申請退款、申請小二介入等，都可以被理解為一種事務(wù)。事務(wù)事實(shí)表，即針對這些過程構(gòu)建的一類事實(shí)表，用以跟蹤定義業(yè)務(wù)過程的個(gè)體行為，提供豐富的分析能力，作為數(shù)據(jù)倉庫原子的明細(xì)數(shù)據(jù)。下面以淘寶交易事務(wù)事實(shí)表為例，闡述事務(wù)事實(shí)表的一般設(shè)計(jì)過程。選擇業(yè)務(wù)過程圖4.1給出了淘寶交易訂單的流轉(zhuǎn)過程，其中介紹了四個(gè)重要過程：創(chuàng)建訂單、買家付款、賣家發(fā)貨、買家確認(rèn)收貨，即下單、支付、發(fā)貨和成功完結(jié)四個(gè)業(yè)務(wù)過程。這四個(gè)業(yè)務(wù)過程不僅是交易過程中的重要時(shí)間節(jié)點(diǎn)，而且也是下游統(tǒng)計(jì)分析的重點(diǎn)，因此淘寶交易事務(wù)事實(shí)表設(shè)計(jì)著重從這四個(gè)業(yè)務(wù)過程進(jìn)行展開。Kimball維度建模理論認(rèn)為，為了便于進(jìn)行獨(dú)立的分析研究，應(yīng)該為每個(gè)業(yè)務(wù)過程建立一個(gè)事實(shí)表。對于是否將不同業(yè)務(wù)過程放到同一個(gè)事實(shí)表中，將在下一節(jié)中詳細(xì)介紹。確定粒度業(yè)務(wù)過程選定以后，就要針對每個(gè)業(yè)務(wù)過程確定一個(gè)粒度，即確定事務(wù)事實(shí)表每一行所表達(dá)的細(xì)節(jié)層次。下面先介紹淘寶訂單的產(chǎn)生過程。對于每一種商品產(chǎn)生的訂單就稱為子訂單，子訂單記錄了父訂單的訂單號(hào)，并且有子訂單標(biāo)志。如果在同一個(gè)店鋪只購買了一種商品，則會(huì)將父子訂單進(jìn)行合并，只保留一條訂單記錄。如圖4.2和圖4.3所示示例。賣家發(fā)貨這個(gè)業(yè)務(wù)過程可以選擇子訂單粒度，即將每個(gè)子訂單作為賣家發(fā)貨事實(shí)表的一個(gè)細(xì)節(jié)。然而，在實(shí)際操作中發(fā)現(xiàn)，賣家發(fā)貨更多的是物流單粒度而非子訂單粒度，同一個(gè)子訂單可以拆開成多個(gè)物流單進(jìn)行發(fā)貨。在事務(wù)事實(shí)表設(shè)計(jì)過程中，秉承確定為最細(xì)粒度的原則，因此對于賣家發(fā)貨確定為物流單粒度，和其他三個(gè)業(yè)務(wù)過程不同，這樣可以更好地給下游統(tǒng)計(jì)分析帶來靈活性。確定維度選定好業(yè)務(wù)過程并且確定粒度后，就可以確定維度信息了。在淘寶交易事務(wù)事實(shí)表設(shè)計(jì)過程中，按照經(jīng)常用于統(tǒng)計(jì)分析的場景，確定維度包含:買家、賣家、商品、商品類目、發(fā)貨地區(qū)、收貨地區(qū)、父訂單維度以及雜項(xiàng)維度。由于訂單的屬性較多，比如訂單的業(yè)務(wù)類型、是否無線交易、訂單的attributes屬性等，對于這些使用較多卻又無法歸屬到上述買賣家或商品維度中的屬性，則新建一個(gè)雜項(xiàng)維度進(jìn)行存放，如圖4.4所示。確定事實(shí)作為過程度量的核心，事實(shí)表應(yīng)該包含與其描述過程有關(guān)的所有事實(shí)。以淘寶交易事務(wù)事實(shí)表為例，選定三個(gè)業(yè)務(wù)過程一一下單、支付和成功完結(jié)，不同的業(yè)務(wù)過程擁有不同的事實(shí)。比如在下單業(yè)務(wù)過程中，需要包含下單金額、下單數(shù)量、下單分?jǐn)偨痤~；在支付業(yè)務(wù)過程中，包含支付金額、分?jǐn)傕]費(fèi)、折扣金額、紅包金額、積分金額；在完結(jié)業(yè)務(wù)過程中包含確認(rèn)收貨金額等。由于粒度是子訂單，所以對于一些父訂單上的金額需要分?jǐn)偟阶佑唵紊?，比如父訂單郵費(fèi)、父訂單折扣等。5.冗余維度在確定維度時(shí)，包含了買賣家維度、商品維度、類目維度、收發(fā)貨維度等，Kimball維度建模理論建議在事實(shí)表中只保存這些維表的外鍵，而淘寶交易事務(wù)事實(shí)表在Kimball維度建模基礎(chǔ)之上做了進(jìn)一步的優(yōu)化，將買賣家星級(jí)、標(biāo)簽、店鋪名稱、商品類型、商品特征、商品屬性、類目層級(jí)等維度屬性都冗余到事實(shí)表中，提高對事實(shí)表進(jìn)行過濾查詢、統(tǒng)計(jì)聚合的效率，如圖4.5所示。4.2.2單事務(wù)事實(shí)表單事務(wù)事實(shí)表，顧名思義，即針對每個(gè)業(yè)務(wù)過程設(shè)計(jì)一個(gè)事實(shí)表。這樣設(shè)計(jì)的優(yōu)點(diǎn)不言而喻，可以方便地對每個(gè)業(yè)務(wù)過程進(jìn)行獨(dú)立的分析研究。1688交易流程則采用這種模式構(gòu)建事務(wù)事實(shí)表。1688交易和淘寶交易相似，主要流程也是下單、支付、發(fā)貨和完結(jié)，而在這四個(gè)關(guān)鍵流程中1688交易選擇下單和支付兩個(gè)業(yè)務(wù)過程設(shè)計(jì)事務(wù)事實(shí)表，分別是1688交易訂單下單事務(wù)事實(shí)表和1688交易訂單支付事務(wù)事實(shí)表。選定業(yè)務(wù)過程后，將對每個(gè)業(yè)務(wù)過程確定粒度、維度和事實(shí)。對于1688交易訂單下單事務(wù)事實(shí)表，確定子訂單粒度，選擇買家、賣家、商品、父訂單、收貨地區(qū)維度，事實(shí)包含下單分?jǐn)偨痤~和折扣金額，如圖4.6所示；而對于1688交易訂單支付事務(wù)事實(shí)表，粒度和維度與交易訂單下單事務(wù)事實(shí)表相同，所表達(dá)的事實(shí)則不一樣，包含支付金額、支付調(diào)整金額和支付優(yōu)惠等，如圖4.7所示；1688交易針對下單和支付分別建立單事務(wù)事實(shí)表后，每天的下單記錄則進(jìn)入當(dāng)天的下單事務(wù)事實(shí)表中，每天的支付記錄進(jìn)入當(dāng)天的支付事務(wù)事實(shí)表中，由于事實(shí)表具有稀疏性質(zhì)，因此只有當(dāng)天數(shù)據(jù)才會(huì)進(jìn)入當(dāng)天的事實(shí)表中。下面以具體交易訂單為例，展示單事務(wù)事實(shí)表的設(shè)計(jì)實(shí)例。4.2.3多事務(wù)事實(shí)表多事務(wù)事實(shí)表，將不同的事實(shí)放到同一個(gè)事實(shí)表中，即同一個(gè)事實(shí)表包含不同的業(yè)務(wù)過程。多事務(wù)事實(shí)表在設(shè)計(jì)時(shí)有兩種方法進(jìn)行事實(shí)的處理：①不同業(yè)務(wù)過程的事實(shí)使用不同的事實(shí)字段進(jìn)行存放；②不同業(yè)務(wù)過程的事實(shí)使用同一個(gè)事實(shí)字段進(jìn)行存放，但增加一個(gè)業(yè)務(wù)過程標(biāo)簽。如何選擇：當(dāng)不同業(yè)務(wù)過程的度量比較相似、差異不大時(shí)，可以采用第二種多事務(wù)事實(shí)表的設(shè)計(jì)方式，使用同一個(gè)字段來表示度量數(shù)據(jù)。但這種方式存在一個(gè)問題一一在同一個(gè)周期內(nèi)會(huì)存在多條記錄（如淘寶收藏商品事務(wù)事實(shí)表，增加【收藏刪除類型】，collect/delete）當(dāng)不同業(yè)務(wù)過程的度量差異較大時(shí)，可以選擇第一種多事務(wù)事實(shí)表的設(shè)計(jì)方式，將不同業(yè)務(wù)過程的度量使用不同字段冗余到表中，非當(dāng)前業(yè)務(wù)過程則置零表示。這種方式所存在的問題是度量字段零值較多（如淘寶交易事務(wù)事實(shí)表，針對不同業(yè)務(wù)過程如下單，則打一個(gè)是否當(dāng)天下單的標(biāo)簽）4.2.4兩種事實(shí)表對比業(yè)務(wù)過程對于單事務(wù)事實(shí)表，一個(gè)業(yè)務(wù)過程建立一個(gè)事實(shí)表，只反映一個(gè)業(yè)務(wù)過程的事實(shí)；對于多事務(wù)事實(shí)表，在同一個(gè)事實(shí)表中反映多個(gè)業(yè)務(wù)過程。多個(gè)業(yè)務(wù)過程是否放到同一個(gè)事實(shí)表中，首先需要分析不同業(yè)務(wù)過程之間的相似性和業(yè)務(wù)源系統(tǒng)。比如淘寶交易的下單、支付和成功完結(jié)這三個(gè)業(yè)務(wù)過程是存在相似性的，都屬于訂單處理中的一環(huán)，并且都來自于交易系統(tǒng)，因此適合放到同一個(gè)事務(wù)事實(shí)表中。粒度和維度在考慮是采用單事務(wù)事實(shí)表還是多事務(wù)事實(shí)表時(shí)，另一個(gè)關(guān)鍵點(diǎn)就是粒度和維度，在確定好業(yè)務(wù)過程后，需要基于不同的業(yè)務(wù)過程確定粒度和維度，當(dāng)不同業(yè)務(wù)過程的粒度相同，同時(shí)擁有相似的維度時(shí)，此時(shí)就可以考慮采用多事務(wù)事實(shí)表。如果粒度不同，則必定是不同的事實(shí)表。比如交易中支付和發(fā)貨有不同的粒度，則無法將發(fā)貨業(yè)務(wù)過程放到淘寶交易事務(wù)事實(shí)表中。事實(shí)對于不同的業(yè)務(wù)過程，事實(shí)往往是不同的，單事務(wù)事實(shí)表在處理事實(shí)上比較方便和靈活，僅僅體現(xiàn)同一個(gè)業(yè)務(wù)過程的事實(shí)即可，而多事務(wù)事實(shí)表由于有多個(gè)業(yè)務(wù)過程，所以有更多的事實(shí)需要處理。如果單一業(yè)務(wù)過程的事實(shí)較多，同時(shí)不同業(yè)務(wù)過程的事實(shí)又不相同，則可以考慮使用單事務(wù)事實(shí)表，處理更加清晰;若使用多事務(wù)事實(shí)表，則會(huì)導(dǎo)致事實(shí)表零值或空值字段較多。下游業(yè)務(wù)使用單事務(wù)事實(shí)表對于下游用戶而言更容易理解，關(guān)注哪個(gè)業(yè)務(wù)過程就使用相應(yīng)的事務(wù)事實(shí)表；而多事務(wù)事實(shí)表包含多個(gè)業(yè)務(wù)過程，用戶使用時(shí)往往較為困惑。1688和淘寶交易分別采用了這兩種方式，從日常使用來看，對于淘寶交易事務(wù)事實(shí)表下游用戶確實(shí)有一定的學(xué)習(xí)成本。計(jì)算存儲(chǔ)成本針對多個(gè)業(yè)務(wù)過程設(shè)計(jì)事務(wù)事實(shí)表，是采用單事務(wù)事實(shí)表還是多事務(wù)事實(shí)表，對于數(shù)據(jù)倉庫的計(jì)算存儲(chǔ)成本也是參考點(diǎn)之一，當(dāng)業(yè)務(wù)過程數(shù)據(jù)來源于同一個(gè)業(yè)務(wù)系統(tǒng)，具有相同的粒度和維度，且維度較多而事實(shí)相對不多時(shí)，此時(shí)可以考慮使用多事務(wù)事實(shí)表，不僅其加工計(jì)算成本較低，同時(shí)在存儲(chǔ)上也相對節(jié)省，是一種較優(yōu)的處理方式。4.2.5父子事實(shí)的處理方式e.g.子訂單分?jǐn)偟挠行聠谓痤~和支付金額4.2.6事實(shí)的設(shè)計(jì)準(zhǔn)則事實(shí)完整性：盡可能多地獲取所有的度量事實(shí)一致性：事實(shí)表中統(tǒng)一計(jì)算可以保證度量的一致性（比如金額由數(shù)量*單價(jià)先在事實(shí)表算出來）事實(shí)可加性：事務(wù)事實(shí)表中關(guān)注更多的是可加性事實(shí)，下游用戶在聚合統(tǒng)計(jì)時(shí)更加方便4.3周期快照事實(shí)表狀態(tài)度量，比如賬戶余額、買賣家星級(jí)、商品庫存、賣家累積交易額等無法聚集，比如溫度等簡稱“快照事實(shí)表”：在確定的間隔內(nèi)對實(shí)體的度量進(jìn)行抽樣，這樣可以很容易地研究實(shí)體的度量值，而不需要聚集長期的事務(wù)歷史4.3.1特性用快照采樣狀態(tài)快照粒度快照需要采樣的周期以及什么將被采樣e.g.淘寶交易有針對賣家加類目的每月匯總事實(shí)表，每月統(tǒng)計(jì)一次，同時(shí)維度也不僅一個(gè)，包含了賣家和類目。密度與稀疏性e.g.針對賣家的歷史至今的下單和支付金額，無論當(dāng)天賣家是否有下單支付事實(shí)，都會(huì)給該賣家記錄一行。半可加性半可加性事實(shí)不能根據(jù)時(shí)間維度獲得有意義的匯總結(jié)果雖然不能匯總，但可以計(jì)算一些平均值4.3.2實(shí)例單維度的每天快照事實(shí)表混合維度的每天快照事實(shí)表直接使用操作型系統(tǒng)的數(shù)據(jù)作為周期快照事實(shí)表的數(shù)據(jù)源進(jìn)行加工，e.g.淘寶賣家信用分/DSR快照事實(shí)表/貨值拍照表全量快照事實(shí)表：e.g.淘寶好中差評(píng)快照事實(shí)表，無事實(shí)的事實(shí)表，更多關(guān)注評(píng)價(jià)的狀態(tài)4.3.3注意事項(xiàng)事務(wù)與快照成對設(shè)計(jì)數(shù)據(jù)倉庫維度建模時(shí)，對于事務(wù)事實(shí)表和快照事實(shí)表往往都是成對設(shè)計(jì)的，互相補(bǔ)充，以滿足更多的下游統(tǒng)計(jì)分析需求，特別是在事務(wù)事實(shí)表的基礎(chǔ)上可以加工快照事實(shí)表，如前面所述的淘寶賣家歷史至今快照事實(shí)表，就是在事務(wù)事實(shí)表的基礎(chǔ)上加工得到的，既豐富了星形模型，又降低了下游分析的成本。附加事實(shí)快照事實(shí)表在確定狀態(tài)度量時(shí)，一般都是保存采樣周期結(jié)束時(shí)的狀態(tài)度量。但是也有分析需求需要關(guān)注上一個(gè)采樣周期結(jié)束時(shí)的狀態(tài)度量，而又不愿意多次使用快照事實(shí)表，因此一般在設(shè)計(jì)周期快照事實(shí)表時(shí)會(huì)附加一些上一個(gè)采樣周期的狀態(tài)度量