指標(biāo)中臺建設(shè)方法與實踐

指標(biāo)中臺建設(shè)方法與實踐指標(biāo)中臺建設(shè)背景在自助式BI(Tableau，PBI)出現(xiàn)之前，是傳統(tǒng)B2010年后，交互式儀表盤在業(yè)界掀起了一場風(fēng)暴的合作開辟了道路。隨著交互式報表成為數(shù)據(jù)分析團(tuán)隊的主要產(chǎn)出，幫助業(yè)務(wù)決策者消費他們自己的數(shù)據(jù)，"儀表盤即服務(wù)”的想法出現(xiàn)了。但在某些情況下也越來越專業(yè)。并非所有的工具都能在單一的數(shù)據(jù)平臺中生近年來，數(shù)據(jù)分析的流行使得這種專業(yè)化更進(jìn)一步，孕育了新的工具，實現(xiàn)用平臺對接。這引發(fā)了對治理的要求，以及圍繞數(shù)據(jù)可見性、數(shù)據(jù)血緣和業(yè)務(wù)運營狀況的新挑戰(zhàn)。不一致的數(shù)據(jù)集使分析員不得不涉足數(shù)百行的SQL，確的。今天，團(tuán)隊從他們的數(shù)據(jù)倉庫或數(shù)據(jù)湖中提取數(shù)據(jù)，放入中臺進(jìn)行管理，并將這些數(shù)據(jù)引入各種工具，包括多l(xiāng)和實驗平臺同時減少計算邏輯和數(shù)據(jù)的重復(fù)，賦能新時代的數(shù)據(jù)應(yīng)用為己任，但最終將需要更多的實踐與探索。介紹完了數(shù)據(jù)平臺的歷史接下來我們將從指標(biāo)中臺指標(biāo)加工、數(shù)據(jù)服務(wù)于一體的完整的解決方案。它是一種集中組織數(shù)據(jù)的方式，以可的方式訪問關(guān)鍵指標(biāo)，用戶可以使用多種應(yīng)用在下游消費這些指用性。作為數(shù)據(jù)架構(gòu)的一部分，指標(biāo)中臺作為一個標(biāo)準(zhǔn)化的單一可信源，開始受到重視，指標(biāo)能夠直接反映企業(yè)的生產(chǎn)運營狀況，從而為企業(yè)決策提供數(shù)據(jù)支撐。一方面隨著國家大數(shù)據(jù)戰(zhàn)略實施與企業(yè)數(shù)字化轉(zhuǎn)型的驅(qū)動，指標(biāo)的重要作用日益凸顯，另一方管理上的諸多痛點使得全企業(yè)實施統(tǒng)一的指標(biāo)管理成為必然要求。但要想把指標(biāo)管不容易，不僅需要科學(xué)合理的方法論，還需要有效的技指標(biāo)作為一種業(yè)務(wù)元數(shù)據(jù)，與企業(yè)元數(shù)據(jù)有著千絲萬縷的聯(lián)系，所以可以把指標(biāo)煙肉式的系統(tǒng)建設(shè)，數(shù)據(jù)口徑的不一致會導(dǎo)致決策者無法從統(tǒng)一視角去了解企業(yè)經(jīng)況，在企業(yè)整理經(jīng)營匯報時，會出現(xiàn)不同業(yè)務(wù)部門對業(yè)務(wù)經(jīng)營現(xiàn)狀得出完全不同的數(shù)據(jù)口徑是指統(tǒng)計數(shù)據(jù)所采用的標(biāo)準(zhǔn)，即進(jìn)行數(shù)據(jù)的相關(guān)工作所依照的據(jù)口徑包括采集方式、統(tǒng)計范圍等指標(biāo)。在企業(yè)內(nèi)各部門、各渠道的業(yè)務(wù)員，會根據(jù)自己業(yè)務(wù)范圍內(nèi)的指標(biāo)進(jìn)行命名，這樣就會造成口徑不-致的情況。指標(biāo)口徑不統(tǒng)一就會導(dǎo)個簡單的業(yè)務(wù)問題在不同團(tuán)隊那里會得到不同的匯報數(shù)字。更糟糕的是沒有人知道究竟哪建立完整的指標(biāo)體系在企業(yè)中尤為重要。如果沒有指標(biāo)，我們能夠知道的得很少，亦或是獲取信息的成本會變得很高。如果只有指標(biāo)，而沒有體系，我們能夠的信息就會變得很窄，亦或是獲取的信息就會變得很亂。進(jìn)而，體系的缺位會導(dǎo)致組織遠(yuǎn)，公司的業(yè)務(wù)虛擬屬性越強(qiáng)，指標(biāo)體系越為重要，因為公司與客戶的距離較遠(yuǎn)。之，建立指標(biāo)體系的目的就在于獲取全局性的、有體系性的信息，進(jìn)而通過動業(yè)務(wù)的發(fā)展，達(dá)成組織目標(biāo)，這就是指標(biāo)體系之所以如此指標(biāo)大多都是經(jīng)過多種計算得到的，有些指標(biāo)需要經(jīng)過很長的加工過程才能得出果無法追溯指標(biāo)的加工過程就難以知曉指標(biāo)所用的數(shù)據(jù)來自哪里，且無法快速找出指標(biāo)出錯的原因和對應(yīng)的責(zé)任部門，使得指標(biāo)的一致企業(yè)不僅需要管理數(shù)據(jù)的系統(tǒng)，更需要一個完整的規(guī)則系統(tǒng)以及規(guī)章流程。數(shù)據(jù)治理基本上涵蓋了企業(yè)所有與數(shù)據(jù)有關(guān)的內(nèi)容，因此在整個企業(yè)范圍內(nèi)，包括工作流程、涉及合規(guī)性、和安全性，確保在整個數(shù)據(jù)生命周期中，都具有較高的數(shù)據(jù)質(zhì)一旦數(shù)據(jù)的質(zhì)量難以保證，那么多少高大上的分析算法都成了空中樓決定上層建筑。如果給數(shù)據(jù)分析算法灌進(jìn)去的數(shù)據(jù)是"圾”。這就是大數(shù)據(jù)界經(jīng)典的效應(yīng):GIGO(標(biāo)成倍的存儲和計算。隨著數(shù)據(jù)量產(chǎn)生速度越來越快，傳統(tǒng)平臺存儲與計算能力遇到瓶頸，查詢耗時較長，無法快速響應(yīng)。雖然指標(biāo)中臺前期建設(shè)也需要一些指標(biāo)的計但是后期指標(biāo)中臺可以通過派生、復(fù)合，減少二次創(chuàng)造指標(biāo)的重復(fù)勞動問題和資源浪費問將指標(biāo)物化在數(shù)據(jù)倉庫層是目前來說常用的一個解法，數(shù)據(jù)倉庫支持將指標(biāo)定圖(View)中，然后讓其他工具去查詢視圖。不少企的計算和查詢問題。使用視圖的問題是僅能針對一些查詢需求進(jìn)行物化，在各繁多的時候，數(shù)據(jù)工程團(tuán)隊需要準(zhǔn)備大量的視圖，開發(fā)成本極高，數(shù)據(jù)管道復(fù)雜不說，還數(shù)據(jù)的消費者如數(shù)據(jù)科學(xué)家,工程師需要花費大量時間來在自助式分析逐漸普及的趨勢下，傳統(tǒng)數(shù)據(jù)平臺不能夠支持靈活的高并發(fā)的分析方式，自助式體驗不好。比如有時候決策者想要下鉆分析到局部，但是系統(tǒng)卻分析。此外，數(shù)據(jù)查詢以后進(jìn)行的聚合計算會導(dǎo)致數(shù)據(jù)獲得緩慢，這樣決策的效率就會受到影響而延后。靈活性、可擴(kuò)展性、實時性、高并發(fā)性等特性逐漸成為了分析平臺必不可在不久以前，如果組織想要一個集中的指標(biāo)中臺，他們必須自己建立。這需要大基礎(chǔ)設(shè)施投資，有時還需要數(shù)據(jù)工程團(tuán)隊的長周期工作。無論是自己開發(fā)，還是直接購買，都需要付出前期的成本。那么企業(yè)大量投入后,能從指標(biāo)中理解業(yè)務(wù)一語言來了解業(yè)務(wù)發(fā)展，整體理解業(yè)務(wù)的真實狀況，貼合業(yè)務(wù)的價值和目可以通過指標(biāo)所描述的對象和場景來理解業(yè)務(wù)，比如，有的業(yè)務(wù)場景看重費率、發(fā)現(xiàn)問題通過對歷史數(shù)據(jù)的對比分析，指標(biāo)的不同特點可以反映業(yè)務(wù)問題。例如指度的特點，指標(biāo)有沒有隨著時間產(chǎn)生周期性變化，還可以分為在不同的業(yè)務(wù)生命周期戶生命周期。在同樣的指標(biāo)下，不同業(yè)務(wù)場景表現(xiàn)如何，例如游戲平臺、內(nèi)容平臺、判斷業(yè)務(wù)好壞也可以通過設(shè)置指標(biāo)參照的基準(zhǔn)，這個基外，還可以衡量業(yè)務(wù)成長。比如行業(yè)參考值、最大值、均值、成熟度曲線、不同業(yè)務(wù)整體值、上一時間周期對比同比環(huán)比、年累計等等.定位原因指標(biāo)的變化只是描述了歷史變化，其中變化的原因才能說明業(yè)務(wù)的問題。同樣的指標(biāo)變化，背后的原因在不同場景下可能不一樣。客單價降低，如果是因為擴(kuò)充了低單價品類商品或者新用戶比例增加引起的，那就不用太緊張，但如果是因為缺貨、老客客單價下降等，那可能就有比較大的問題。指標(biāo)的關(guān)聯(lián)因素實際上會影響指標(biāo)的變化，指標(biāo)的關(guān)聯(lián)因素主要考慮的是，該指標(biāo)發(fā)生波動是哪些因素造成的，指標(biāo)和另外的哪些指標(biāo)會共同精細(xì)化運營運營管理效率是一家企業(yè)執(zhí)行力的體現(xiàn)，是將戰(zhàn)略目標(biāo)在組織層面進(jìn)行分解步落實并實現(xiàn)的過程。在大數(shù)據(jù)時代，企業(yè)必須要建立一套數(shù)據(jù)感知響應(yīng)系統(tǒng)，的數(shù)據(jù)采集、數(shù)據(jù)分析及決策，實現(xiàn)即時響應(yīng)，并在快速迭代中形成應(yīng)對外部環(huán)企業(yè)需要采集數(shù)據(jù)并建立指標(biāo)體系，對運營的各個環(huán)節(jié)進(jìn)行數(shù)據(jù)化和指標(biāo)化，讓所有運營活動都用數(shù)據(jù)表征，這樣就能夠精細(xì)化運營管理的各個環(huán)節(jié)，提升過程管控的力度和挖掘價值業(yè)務(wù)發(fā)展的過程中會產(chǎn)生大量的數(shù)據(jù)，企業(yè)需要對數(shù)據(jù)背后映射的價有把數(shù)據(jù)和業(yè)務(wù)結(jié)合起來，通過處理和分析才能體現(xiàn)數(shù)據(jù)的價值。通過指標(biāo)體務(wù)數(shù)據(jù)，分析業(yè)務(wù)的發(fā)展情況，能幫助企業(yè)更好的提高數(shù)字化水平，提升運營效率。構(gòu)建指標(biāo)中臺既可以更加全面清晰的展示企業(yè)應(yīng)用的數(shù)據(jù)，也可以幫助企業(yè)沉淀數(shù)據(jù)資產(chǎn)，利用現(xiàn)在的機(jī)器學(xué)習(xí)等預(yù)測能力，挖掘數(shù)據(jù)價值，指標(biāo)中臺建設(shè)框架現(xiàn)代管理學(xué)之父彼得·德魯克有一句非常經(jīng)典的話:“What意思是只有一個事情能被量化，才能夠被解決。就好比家里有了一臺秤，才能效果。那么如何量化管理企業(yè)呢，這個統(tǒng)一的標(biāo)準(zhǔn)去衡量業(yè)務(wù)，就是指標(biāo)的由來。指標(biāo)意思是衡量目標(biāo)的參數(shù)，預(yù)期中打算達(dá)到的指數(shù)、規(guī)格、標(biāo)準(zhǔn)，一般用數(shù)據(jù)表維度是度量的環(huán)境，用來反映業(yè)務(wù)的一類屬性，這類屬性的集合構(gòu)成一個維度以稱為實體對象。維度屬于一個數(shù)據(jù)域，如地理維度(其中包間維度(其中包括年、季、月、周、日等級別內(nèi)容)。維度是幫助度量值使用者理解度量值果，它一般是連續(xù)的值.根據(jù)部門管理職能和業(yè)務(wù)覆蓋范圍，將指標(biāo)數(shù)據(jù)項進(jìn)行結(jié)構(gòu)化歸類，劃分一二三級主原子指標(biāo)和度量含義相同，也叫基礎(chǔ)指標(biāo)，是基于某一業(yè)務(wù)事件行為下的度務(wù)定義中不可再拆分的指標(biāo).計范圍的圈定。如原子指標(biāo)支付金額，最近1天海訂單名稱，訂單ID指標(biāo)除了定義多樣化之外，也有復(fù)雜的公式，這里對指標(biāo)計算類型大致做一個分容易定義，一個獨立的度量定義層將很好地定localcurrency:conversionrate(loc介紹了這么多類型的指標(biāo)，這些指標(biāo)去哪里找，怎么樣體系化管理這些指標(biāo)，如何把公司復(fù)雜的業(yè)務(wù)量化成為一個個管理指標(biāo)，就需要一套方法論來進(jìn)行梳理。接下來我們介首先需要對公司的、業(yè)務(wù)的、產(chǎn)品的階段性目標(biāo)進(jìn)行確定。所選取的正的可以反映公司的經(jīng)營戰(zhàn)略。制定業(yè)務(wù)目標(biāo)是最為重要的，是公司的計要貼合業(yè)務(wù)的核心價值目的，可以衡量業(yè)務(wù)的真實狀況?？偟臉I(yè)務(wù)目標(biāo)可以細(xì)分到子目標(biāo)，例如提升GMV(gros進(jìn)行拆分，這樣就出現(xiàn)了三個子目標(biāo)，分別是提升用戶數(shù)，提高轉(zhuǎn)化率，接下來是細(xì)分業(yè)務(wù)的策略。為了實現(xiàn)總的業(yè)務(wù)目標(biāo)，需要各個下屬部門例如為了子目標(biāo)提升用戶數(shù)，可以進(jìn)行培育/拓展高質(zhì)量渠道。通過線下導(dǎo)流線上公眾為了提高轉(zhuǎn)化率，可以進(jìn)行提升首頁分發(fā)效率、優(yōu)化為了提升客單價，可以進(jìn)行運營促銷活動，也可以定確定了細(xì)分業(yè)務(wù)策略以后，就可以設(shè)計指標(biāo)來量化評估。例如提高渠道拓展的質(zhì)量，就可以用下單轉(zhuǎn)化率、新用戶登錄數(shù)、下單轉(zhuǎn)化率來評估。通過這些衡量指標(biāo)來反業(yè)務(wù)目標(biāo)的完成情況，如果不能夠真實反映，需要北極星指標(biāo)標(biāo)，是因為這個指標(biāo)一旦確定，就會像夜晚高懸于天空的北極星一樣，指引整個公司為最廣大用戶提供物有所值的商品和有趣互指標(biāo)體系建立的方法是將零散單點的具有相互聯(lián)系的指標(biāo)，系統(tǒng)化的組織起來，單點看全局，通過全局解決單點的問題。流程上可以分為四個步驟，找指標(biāo)、找指標(biāo)：找尋分散在企業(yè)各處的指標(biāo)。結(jié)合集團(tuán)戰(zhàn)略和崗位職責(zé)，設(shè)定全面的衡量指標(biāo)，并分解到具體業(yè)務(wù)過程經(jīng)過指標(biāo)梳理后，形成的材料為指標(biāo)元數(shù)據(jù)字典。指標(biāo)元數(shù)據(jù)字典是對業(yè)系化的匯總，用來明確指標(biāo)的口徑、維度、指標(biāo)取數(shù)邏輯等信息，并能快速獲取到指標(biāo)的相關(guān)信息。簡單點說是為業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化提供的基礎(chǔ)，方便對指標(biāo)進(jìn)(按照支付時間統(tǒng)計，不考慮訂單是否取消，幣種為人民幣，計量單位為管指標(biāo)數(shù)據(jù)的工作和其它數(shù)據(jù)管理工作并無太大差別，即通過推動數(shù)據(jù)治常態(tài)化數(shù)據(jù)管控團(tuán)隊可以由數(shù)據(jù)管理領(lǐng)導(dǎo)小組、信息企業(yè)僅僅制定指標(biāo)體系，并不能起到規(guī)范數(shù)據(jù)的作用，只有將指標(biāo)體系落實在實際應(yīng)用中，才能發(fā)揮其管理作用因此構(gòu)建指標(biāo)體系往往和應(yīng)用系統(tǒng)建設(shè)同步進(jìn)行。通過據(jù)體系的應(yīng)用，我們將規(guī)范企業(yè)內(nèi)指標(biāo)使用的規(guī)范性，提高數(shù)據(jù)的準(zhǔn)確性、一致性指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)是為滿足內(nèi)部分析管理需要和外部監(jiān)管要求，對基礎(chǔ)類數(shù)據(jù)加工而的指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范。指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)通過基礎(chǔ)屬性、業(yè)務(wù)屬性、技術(shù)屬性和管描述指標(biāo)數(shù)據(jù)規(guī)范化要求。例如，在基礎(chǔ)屬性中需要定義標(biāo)準(zhǔn)名稱，明確指標(biāo)分類屬性中需要明確指標(biāo)的業(yè)務(wù)含義、業(yè)務(wù)口徑和指標(biāo)維度等:在技術(shù)屬性中需明確指圍、指標(biāo)取數(shù)方式、指標(biāo)條件、指標(biāo)數(shù)據(jù)類型、長度和精度等。為確保指標(biāo)數(shù)據(jù)的完整與嚴(yán)謹(jǐn)，我們總結(jié)形成了一整套指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)的信息項屬指標(biāo)數(shù)據(jù)定義規(guī)范注重反映集團(tuán)戰(zhàn)略目標(biāo)和業(yè)務(wù)發(fā)展過程的全局性，充分考慮各際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)，強(qiáng)調(diào)數(shù)據(jù)標(biāo)準(zhǔn)落地建設(shè)，級應(yīng)嚴(yán)格按照本規(guī)范的要求開展指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)治理歸口管理部門:對于指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)管理工作而言，數(shù)作為牽頭者的角色，需要做到組織數(shù)據(jù)治理小組會議，將技術(shù)管理與業(yè)務(wù)管理的相關(guān)人員協(xié)同起來，完成指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)制定工作，并提供資源協(xié)調(diào)、統(tǒng)籌安排等便利。指標(biāo)標(biāo)準(zhǔn)業(yè)務(wù)歸口部門:指標(biāo)標(biāo)準(zhǔn)業(yè)務(wù)歸口部門作為指標(biāo)所屬領(lǐng)域的業(yè)務(wù)主指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行歸口管理。業(yè)務(wù)涉及多個板塊的，以指標(biāo)產(chǎn)生部門對數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行管理，多個部門同時計算的，以業(yè)務(wù)牽頭主管部門進(jìn)行歸口管理。其職責(zé)主要包括，指標(biāo)數(shù)據(jù)的使用部門、基礎(chǔ)屬性、業(yè)務(wù)含義和業(yè)務(wù)口徑等標(biāo)準(zhǔn)，并對指標(biāo)的技術(shù)口徑技術(shù)主管部門:技術(shù)主管部門作為指標(biāo)標(biāo)準(zhǔn)管理的技術(shù)支撐，對指標(biāo)的取數(shù)數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家用，這樣就可以大大地減少指標(biāo)建設(shè)的重復(fù)性工財務(wù)管理等各類指標(biāo)數(shù)據(jù)提供數(shù)據(jù)共享、規(guī)范管理以及口徑統(tǒng)-保障。一個通用的指標(biāo)中臺還有平臺化指標(biāo)管理，統(tǒng)一口徑，以標(biāo)準(zhǔn)的API接口對應(yīng)用賦能。指標(biāo)中臺也應(yīng)該提供標(biāo)例如:有一天，一個業(yè)務(wù)員發(fā)現(xiàn)他上個月的績效數(shù)據(jù)不對的，那么這個問題提交到數(shù)倉認(rèn)真查了一遍指標(biāo)的計算邏輯。確認(rèn)當(dāng)前表-字段的計算邏輯沒問題后，會往上查找這個表直接依賴到的表-字段。再繼續(xù)用同樣的方法確認(rèn)這些表-字段，如此一層視化圖表，無需提前定義監(jiān)控邏輯，根據(jù)歷史數(shù)據(jù)識自動別異常值。根據(jù)這些特性，我們對比了一些計算引擎產(chǎn)品，詳細(xì)展開來看。指標(biāo)管理的核心就是將定義的指標(biāo)進(jìn)行組合時，生成SQL提交給Kylin，接收結(jié)果并輸出結(jié)果可以保存在內(nèi)存中從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖查詢。數(shù)據(jù)可以實時攝入，進(jìn)入到Druid后立即可供延時的數(shù)據(jù)插入，實時的數(shù)據(jù)查詢。也正是中干Dd對干時序的設(shè)計必須在時間維度下細(xì)級別的高性能查詢，在復(fù)雜或者高基維度的聚合查詢接下來我們就來介紹一些實際的客戶指標(biāo)中臺指標(biāo)中臺建設(shè)案例潘多拉指標(biāo)平臺是平安銀行指標(biāo)管理和指標(biāo)應(yīng)用的統(tǒng)一平臺。該平臺以業(yè)務(wù)場動，提供了AI+BI+內(nèi)容的基礎(chǔ)能力，并結(jié)合組件化開放平臺，提供數(shù)據(jù)分析式解決方案。內(nèi)容方面，提供了指標(biāo)、維度和標(biāo)簽的錄入、發(fā)布和規(guī)面，提供了指標(biāo)卡片、指標(biāo)地圖、指標(biāo)看板、指標(biāo)派生與衍生等功能，A插拔的智能預(yù)警、規(guī)則預(yù)警、智能歸因、指標(biāo)推薦等功能。平臺為銀行億級數(shù)據(jù)量維分析提供了完整的解決方案，解決了以往數(shù)據(jù)開發(fā)周期長，數(shù)據(jù)口徑雜，數(shù)據(jù)獲取查詢響應(yīng)慢等痛點。通過獨創(chuàng)的智能查詢路由與構(gòu)建技術(shù)，平臺可按需構(gòu)建麒麟大數(shù)據(jù)的Cube，并自動管理相應(yīng)的任務(wù)調(diào)度、跑批隊列、生命周潘多拉平臺圍繞指標(biāo)管理和指標(biāo)應(yīng)用的全生命周期，提供了指標(biāo)的錄入、發(fā)布平臺利用指標(biāo)卡片，讓指標(biāo)真正活起來，讓用戶可以更直觀的找到指標(biāo)、使用簡單而強(qiáng)大的指標(biāo)看板功能，讓普通業(yè)務(wù)人員也能輕松制作看板、分析數(shù)據(jù)，減少對數(shù)據(jù)開發(fā)人員的依賴;結(jié)合面向業(yè)務(wù)場景的