對公數(shù)據(jù)集市項目培訓(xùn)材料

1、對公數(shù)據(jù)集市介紹,對公數(shù)據(jù)集市項目組,2014年1月,目錄,對公集市架構(gòu)介紹,對公集市背景及目標(biāo),補錄與產(chǎn)品、報表重跑,對公集市功能介紹,對公集市下游介紹,數(shù)據(jù)倉庫概述,銀行業(yè)務(wù)簡介,目錄,對公集市架構(gòu)介紹,對公集市背景及目標(biāo),補錄與產(chǎn)品、報表重跑,對公集市功能介紹,對公集市下游介紹,數(shù)據(jù)倉庫概述,銀行業(yè)務(wù)簡介,數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失的且隨時間變化的數(shù)據(jù)集合，用來支持管理人員的決策。 數(shù)據(jù)倉庫的四個特點： 1）面向主題 2）集成 3）非易失 4）隨時間變化,數(shù)據(jù)倉庫概述,操作系統(tǒng)是面向事務(wù)處理的。事務(wù)處理關(guān)注的是整個事務(wù)操作流程，即操作系統(tǒng)是圍繞事務(wù)操作流程來組織數(shù)據(jù)的。 數(shù)

2、據(jù)倉庫是面向主題的。主題是管理人員分析問題的重點。面向主題就是所有的數(shù)據(jù)都是根據(jù)主題來組織的。即數(shù)據(jù)倉庫的數(shù)據(jù)都是圍繞分析的重點來進行組織數(shù)據(jù)的。,面向主題,面向主題,操作系統(tǒng),數(shù)據(jù)倉庫,票據(jù),信用證,貸款,客戶,協(xié)議,產(chǎn)品,集成是數(shù)據(jù)倉庫最重要的特性。 集成并不是簡單的把數(shù)據(jù)聚合在一起，還要消除數(shù)據(jù)的不一致性。由于數(shù)據(jù)倉庫是面向主題的，一個主題下可以包含多個源系統(tǒng)的數(shù)據(jù)，只有統(tǒng)一各個源系統(tǒng)不同的編碼，才能在同一個主題下匯總、分析數(shù)據(jù)，從而消除不同系統(tǒng)間的信息孤島問題。,集成,客戶 A：A1 性別 男：M 機構(gòu) O：O1,客戶 A：A2 性別 男：0 機構(gòu) O：O2,客戶 A：A3 性別 男：

3、1 機構(gòu) O：O3,客戶 A：A 性別 男：M 機構(gòu) O：O,操作系統(tǒng),數(shù)據(jù)倉庫,核心,信貸,國結(jié),MAPPING,操作系統(tǒng)是實時、事務(wù)級的更新和小數(shù)據(jù)明細(xì)的查詢。 數(shù)據(jù)倉庫是定期、批量更新和大數(shù)據(jù)匯總查詢的。由于數(shù)據(jù)倉庫一般并不會更新歷史數(shù)據(jù)，所以數(shù)據(jù)倉庫是非易失的。,非易失,操作系統(tǒng),數(shù)據(jù)倉庫,載入,訪問,修改,增加,刪除,查詢,操作系統(tǒng)一般只會保留數(shù)據(jù)的最新記錄。 數(shù)據(jù)倉庫需要保留各個歷史時點的數(shù)據(jù)，已便于對數(shù)據(jù)在時間維度上進行分析、挖掘。,隨時間變化,操作系統(tǒng),數(shù)據(jù)倉庫,時間期限：近三個月 記錄更新 日期戳可有可無,時間期限：510年 復(fù)雜的快照數(shù)據(jù) 時間維度,自頂向下：先建設(shè)數(shù)據(jù)倉庫

4、，再建設(shè)數(shù)據(jù)集市 自底向上：先獨立建設(shè)數(shù)據(jù)集市，在統(tǒng)一維度總線的基礎(chǔ)上合成數(shù)據(jù)倉庫,數(shù)據(jù)倉庫的兩種建設(shè)方式,核心,信貸,國結(jié),數(shù)據(jù)倉庫,對公集市,零售集市,風(fēng)險集市,核心,信貸,國結(jié),數(shù)據(jù)倉庫,對公集市,零售集市,風(fēng)險集市,自頂向下,自底向上,統(tǒng)一維度總線,一般銀行業(yè)數(shù)據(jù)平臺架構(gòu),數(shù)據(jù)架構(gòu)中的關(guān)注點（五個維度）,緩沖層,基礎(chǔ)層,匯總層,應(yīng)用集市層,數(shù)據(jù)架構(gòu)之EDW,12,數(shù)據(jù)平臺,EDW,供統(tǒng)一的業(yè)務(wù)口徑 避免集市的重復(fù)加工 隨著應(yīng)用建設(shè)逐步完善 業(yè)務(wù)統(tǒng)計口徑變化，ETL會隨之變化 視情況保留較長歷史,為ETL方便設(shè)計的專用層，可加載增量或全量數(shù)據(jù) 在此層完成數(shù)據(jù)同構(gòu)化 數(shù)據(jù)原樣加載，保持與源

5、結(jié)構(gòu)一致 一般按照業(yè)務(wù)系統(tǒng)進行命名識別 可保留部分最近數(shù)據(jù)以供重新加載,面向整合 主題設(shè)計 標(biāo)準(zhǔn)化數(shù)據(jù) 3NF設(shè)計 保留較長歷史,面向應(yīng)用，按需定制 可分為內(nèi)部集市和外部集市 可通過反范式提高響應(yīng)性能 可為匯總層提供擴充依據(jù) 視情況保留較長歷史,從前面一般銀行數(shù)據(jù)倉庫的架構(gòu)可以看出，數(shù)據(jù)集市是數(shù)據(jù)倉庫的一個子集，是為特定的分析應(yīng)用而建設(shè)的。 數(shù)據(jù)集市根據(jù)所處位置的不同分以下幾類：,數(shù)據(jù)集市,數(shù)據(jù)倉庫,源系統(tǒng),.,信用卡,網(wǎng)銀,基金代銷,核心,信貸,國結(jié),數(shù) 據(jù) 緩 沖 層,倉內(nèi)物理集市,倉外物理集市,倉內(nèi)邏輯集市,整 合 數(shù) 據(jù) 層,共 性 匯 總 層,目錄,對公集市架構(gòu)介紹,對公集市背景及目

6、標(biāo),補錄與產(chǎn)品、報表重跑,對公集市功能介紹,對公集市下游介紹,數(shù)據(jù)倉庫概述,銀行業(yè)務(wù)簡介,資產(chǎn)業(yè)務(wù)（客戶立場）： 活期：單位活期存款是指，不規(guī)定存款期限，客戶可以隨時存取，并按活期存款利率按季計取利息的存款。 定期：單位定期存款是客戶與我行事先約定存款期限，到期后支取本息的存款。 保證金：保證金是指客戶或第三方為擔(dān)?？蛻袈男信c我行簽定的相關(guān)合同義務(wù)，出于設(shè)置擔(dān)保目的而存入我行的，歸客戶或第三方所有但由我行占有的特定化的資金。 負(fù)債業(yè)務(wù)（客戶立場）： 一般貸款：負(fù)債業(yè)務(wù)主要是銀行對單位客戶提供資金融通的表內(nèi)業(yè)務(wù)。一般貸款是指一般的資金融通業(yè)務(wù)，不包含保理和貼現(xiàn)。 保理：保理是一項綜合性金融服務(wù)。

7、在保理業(yè)務(wù)中，賣方將其現(xiàn)在或?qū)淼幕谄渑c買方訂立的貨物銷售/服務(wù)合同所產(chǎn)生的應(yīng)收帳款轉(zhuǎn)讓給銀行，由銀行提供貿(mào)易融資、賬戶管理、應(yīng)收賬款催收、風(fēng)險控制等服務(wù)。 貼現(xiàn)：貼現(xiàn)是商業(yè)匯票的持票人將未到期的商業(yè)匯票轉(zhuǎn)讓給銀行，銀行按票面金額扣除貼現(xiàn)利息后，將貼現(xiàn)金額付給持票人的一種融資行為。,銀行對公業(yè)務(wù),表外業(yè)務(wù)： 所謂表外業(yè)務(wù)，即不計入資產(chǎn)負(fù)債表的業(yè)務(wù)，國家對這部分業(yè)務(wù)的限制較少，也不影響銀行資產(chǎn)負(fù)債表，是目前銀行大力發(fā)展的業(yè)務(wù)。 保函：又稱保證書，是指銀行、保險公司、擔(dān)保公司或個人應(yīng)申請人的請求，向第三方開立的一種書面信用擔(dān)保憑證。保證在申請人未能按雙方協(xié)議履行起責(zé)任或義務(wù)時，由擔(dān)保人代其履行一

8、定金額、一定期限范圍內(nèi)的某種支付責(zé)任或經(jīng)濟賠償責(zé)任。銀行保函包括履約保函、預(yù)付款保函、投標(biāo)保函、維修保函、預(yù)留金保函、稅款保付反擔(dān)保函、海關(guān)風(fēng)險保證金保函等。 信用證：信用證系指，銀行依照申請人的申請向受益人開出的，憑符合信用證條款規(guī)定的單據(jù)支付一定金額的付款承諾。信用證是國際結(jié)算的一種重要工具。 銀行承兌匯票：銀行承兌匯票是指，由承兌申請人簽發(fā)并向開戶銀行申請，經(jīng)銀行審查同意承兌的商業(yè)匯票。其中，商業(yè)匯票是出票人簽發(fā)的，委托付款人在指定日期無條件支付確定的金額給收款人或者持票人的票據(jù)；承兌是指匯票付款人承諾在匯票到期日支付匯票金額的票據(jù)行為。,銀行對公業(yè)務(wù),目錄,對公集市架構(gòu)介紹,對公集市背

9、景及目標(biāo),補錄與產(chǎn)品、報表重跑,對公集市功能介紹,對公集市下游介紹,數(shù)據(jù)倉庫概述,銀行業(yè)務(wù)簡介,為更好的貫徹最佳銀行戰(zhàn)略，做好公司業(yè)務(wù)客戶管理和營銷工作，進一步鞏固和發(fā)揮平安銀行業(yè)務(wù)優(yōu)勢實現(xiàn)公司銀行的戰(zhàn)略目標(biāo)。 為適應(yīng)平安銀行對公業(yè)務(wù)管理需要，為支持最新的對公業(yè)務(wù)管理工作方針，為配合、推進平安集團綜合金融的戰(zhàn)略要求；必須實現(xiàn)銀行對公客戶信息整合，形成對公數(shù)據(jù)集市,通過整合客戶的數(shù)據(jù)信息，進一步挖掘客戶的價值信息，更好的支持公司業(yè)務(wù)客戶營銷、管理分析工作的開展。挖掘客戶的潛在需求，為我行制定個人業(yè)務(wù)發(fā)展戰(zhàn)略、產(chǎn)品創(chuàng)新、客戶服務(wù)的準(zhǔn)確定位提供了良好的、科學(xué)的分析依據(jù)。同時，為戰(zhàn)略客戶的營銷和管理提

10、供依據(jù)，通過客戶信息的整合，客戶經(jīng)理及各層級管理領(lǐng)導(dǎo)、各分支行機構(gòu)能全方位的360度的了解公司客戶過去及現(xiàn)狀的全貌，能第一時間了解客戶的營銷意向，能清晰的知道客戶給我行帶來的價值，以日常工作平臺為高效的溝通管理工具，對重點項目、銷售機會和營銷活動等營銷服務(wù)管理的資源共享和工作協(xié)同，實現(xiàn)銀行E化營銷銷售流程管理，并帶來新的客戶服務(wù)體系、科學(xué)的市場營銷策略、更低的營銷和服務(wù)成本、更高的客戶保留率、優(yōu)化的銀行市場價值鏈條、以及增加銀行業(yè)務(wù)量、提高商業(yè)銀行核心競爭能力，實現(xiàn)公司銀行的戰(zhàn)略目標(biāo)。,項目背景,項目目標(biāo),目錄,對公集市架構(gòu)介紹,對公集市背景及目標(biāo),補錄與產(chǎn)品、報表重跑,對公集市功能介紹,對公

11、集市下游介紹,數(shù)據(jù)倉庫概述,銀行業(yè)務(wù)簡介,集市總體架構(gòu),對公數(shù)據(jù)集市（Oracle（11G）,明細(xì)區(qū),匯總區(qū),數(shù)據(jù)采集平臺,應(yīng)用系統(tǒng),O D S 數(shù) 據(jù) 平 臺,E T L （落地文件）,歷史歸檔,數(shù)據(jù)標(biāo)準(zhǔn)管理,數(shù)據(jù)質(zhì)量 管理,業(yè)務(wù)應(yīng)用數(shù)據(jù),實時數(shù)據(jù)服務(wù),數(shù)據(jù)服務(wù)區(qū),批量數(shù)據(jù)服務(wù),直連,應(yīng)用數(shù)據(jù)整合與輸出,源系統(tǒng),核心,信貸,網(wǎng)銀,票據(jù),國結(jié),第三方,補錄,對公CRM,對公績效,對公客戶 升級,對公報表,精準(zhǔn)營銷 平臺,SAS,指標(biāo)區(qū),交易系統(tǒng) 點對點 文件傳輸,應(yīng)用數(shù)據(jù)整合與輸出,報表數(shù)據(jù),挖掘區(qū),部門特色需求,收益、補錄數(shù)據(jù),PDM（明細(xì)層 GreenPlum）,集市數(shù)據(jù)架構(gòu),應(yīng)用系統(tǒng),數(shù)

12、據(jù)標(biāo)準(zhǔn)管理,數(shù)據(jù)質(zhì)量管理,源 系 統(tǒng),O D S 平臺,匯總區(qū),指標(biāo)區(qū),數(shù)據(jù)服務(wù)區(qū),報表數(shù)據(jù),部門特色需求數(shù)據(jù),差異統(tǒng)計,臨時統(tǒng)計,其他需求,專題分析,挖掘區(qū),業(yè)務(wù)應(yīng)用數(shù)據(jù),SAS直連,固定報表,多維報表,管理駕駛倉,對公CRM,對公績效,對公客戶升級,精準(zhǔn)營銷平臺,余額匯總,貢獻度匯總,產(chǎn)品匯總,其他匯總,交易匯總,客戶扁平化,客戶標(biāo)志,對公CRM,對公績效,對公客戶 升級,對公報表,精準(zhǔn)營銷 平臺,SAS,賬戶數(shù)指標(biāo),客戶數(shù)指標(biāo),交易量指標(biāo),資產(chǎn)類指標(biāo),負(fù)債類指標(biāo),收支類指標(biāo),明細(xì)區(qū),利率類指標(biāo),客戶主題,匯總區(qū),部門快報,其他指標(biāo),指標(biāo)區(qū),精準(zhǔn)營銷平臺,數(shù)據(jù)服務(wù)區(qū),客戶基本信息,客戶映射

13、關(guān)系,客戶聯(lián)系信息,帳號主題,賬戶基本信息,賬戶擴展信息,賬戶客戶關(guān)系,產(chǎn)品主題,產(chǎn)品基本信息,產(chǎn)品賬戶映射,客戶權(quán)益,客戶收益信息,客戶風(fēng)險信息,客戶分層標(biāo)準(zhǔn),交易 主題,交易整合信息,交易對手信息,銀行組織,財務(wù)主題,附屬信息,各系統(tǒng)賬務(wù)信息,銀行機構(gòu)信息,銀行員工信息,公共信息,公共維度信息,其他附加信息,明細(xì)數(shù)據(jù)區(qū),集市物理架構(gòu),對公數(shù)據(jù)集市環(huán)境配置： 生產(chǎn)環(huán)境：2臺 IBM P720 8C 32G 1T 存儲 IP： 10.1.39.224、10.1.39.225,集市數(shù)據(jù)加工流程,目錄,對公集市架構(gòu)介紹,對公集市背景及目標(biāo),補錄與產(chǎn)品、報表重跑,對公集市功能介紹,對公集市下游介紹,

14、數(shù)據(jù)倉庫概述,銀行業(yè)務(wù)簡介,系統(tǒng)功能介紹,集市功能介紹 生命周期管理 調(diào)度批次介紹,對公數(shù)據(jù)大集中（集成21個對公系統(tǒng)數(shù)據(jù)）,對公數(shù)據(jù)源統(tǒng)一,各個業(yè)務(wù)單元和對公管理系統(tǒng)使用數(shù)據(jù)源統(tǒng)一由對公數(shù)據(jù)集市提供。其中包括：數(shù)據(jù)來源一致、統(tǒng)計口徑一致兩方面的內(nèi)容。 數(shù)據(jù)來源一致 數(shù)據(jù)源統(tǒng)一除了構(gòu)建統(tǒng)一標(biāo)準(zhǔn)的對公數(shù)據(jù)集市之外，更為重要的是： 統(tǒng)一共識，業(yè)務(wù)數(shù)據(jù)必須由對公數(shù)據(jù)集市提供。 數(shù)據(jù)需求可向數(shù)據(jù)集市提出，數(shù)據(jù)集市必須快速響應(yīng)。 數(shù)據(jù)集市必須有足夠的前瞻性和總結(jié)性，可以容納范圍更廣的業(yè)務(wù)數(shù)據(jù)。 統(tǒng)計口徑一致 統(tǒng)計口徑一致，需要收集和約定一份能達成統(tǒng)一認(rèn)識的統(tǒng)計口徑說明。 如：資產(chǎn)負(fù)債以總賬為標(biāo)準(zhǔn) 其它信

15、息以公司銀行部為標(biāo)準(zhǔn)。,對公數(shù)據(jù)集市模型,歸集對公條線所有數(shù)據(jù)，按主題劃分，通過不同主題分類歸集并統(tǒng)一銀行對公數(shù)據(jù)，邏輯模型采用雪花模型進行建模，形成客戶、產(chǎn)品、客戶經(jīng)理分析為支撐的大數(shù)據(jù)分析模型。,對公集市模型-客戶主題,對公集市模型-賬戶主題,對公集市模型-賬戶主題續(xù),對公集市模型-銀行組織,對公集市模型-產(chǎn)品主題,對公集市模型-交易、客戶權(quán)益與財務(wù)主題,對公集市模型-附屬信息,360度客戶視圖數(shù)據(jù)加工,建立客戶立體化信息視圖，匯聚各類客戶信息，提供跨越客戶生命周期的全方位客戶信息，支撐以客戶為中心的營銷、銷售、服務(wù)一體化。,匯聚各系統(tǒng)客戶信息，建立統(tǒng)一的客戶信息模型； 按照6大分類，匯總

16、客戶數(shù)據(jù)； 對各類應(yīng)用提供客戶信息支持。,整合客戶信息、產(chǎn)品信息、交易信息等數(shù)據(jù)，結(jié)合精準(zhǔn)營銷平臺、績效考核等應(yīng)用口徑，建立客戶統(tǒng)一視圖，提供標(biāo)準(zhǔn)的客戶基礎(chǔ)信息、統(tǒng)一客戶識別信息。,客戶權(quán)益關(guān)系,客戶行為信息,客戶持有產(chǎn)品信息,客戶信用與風(fēng)險,客戶基本信息,360度 客戶視圖,客戶簽約信息,客戶360度視圖信息,客戶信息360度視圖是全方位了解銀行公司業(yè)務(wù)客戶的重要方式，對公數(shù)據(jù)集市以BECIF號為銀客戶的唯一標(biāo)識，通過整合客戶的數(shù)據(jù)信息，進一步挖掘客戶的價值信息，更好的支持我行公司業(yè)務(wù)客戶營銷、管理分析工作的開展。 通過客戶信息的整合，客戶經(jīng)理及各層級管理領(lǐng)導(dǎo)、各分支行機構(gòu)能全方位的了解公司

17、客戶過去及現(xiàn)狀的全貌，能清晰的知道客戶給我行帶來的價值，能第一時間了解客戶的營銷意向等，進而可以滿足我行日常營銷、分析決策以及業(yè)務(wù)發(fā)展需要。,潛在客戶收集,建設(shè)對公營銷產(chǎn)品目錄樹,建立全行統(tǒng)一的對公營銷產(chǎn)品目錄樹,實現(xiàn)產(chǎn)品核算,統(tǒng)計客戶持有產(chǎn)品,對各產(chǎn)品進行定義，并使用一致的方法進行組織產(chǎn)品維度結(jié)構(gòu)，描述各產(chǎn)品分類及定義；整合公司條線所有產(chǎn)品，形成統(tǒng)一的滿足營銷需要的“平安銀行對公產(chǎn)品目錄”（以下簡稱產(chǎn)品目錄）。,產(chǎn)品目錄將與SAP產(chǎn)品核算建立配對關(guān)系，在SAP中實現(xiàn)各產(chǎn)品、賬戶的核算。包括營業(yè)收入、營業(yè)支出、凈利潤等。,依托對公數(shù)據(jù)集市及SAP產(chǎn)品、賬戶核算，統(tǒng)計客戶持有產(chǎn)品情況，包括持有各

18、類產(chǎn)品余額及匯總、戶均持有產(chǎn)品數(shù)等。,對公營銷產(chǎn)品目錄樹配置映射(19大類）,持有產(chǎn)品分析,產(chǎn)品的客戶占有率,產(chǎn)品利潤率,產(chǎn)品的客戶占有率統(tǒng)計，按產(chǎn)品的十九大類，統(tǒng)計持有產(chǎn)品的客戶占有率。,分析和統(tǒng)計產(chǎn)品的收入、支出、成本等，統(tǒng)計產(chǎn)品的利潤率等。,產(chǎn)品貢獻度,通過分析產(chǎn)品的收益、成本、支出，統(tǒng)計產(chǎn)品對分行、事業(yè)部的貢獻度。 通過我行現(xiàn)有產(chǎn)品的貢獻度進行排名，找到貢獻度最高的前幾個產(chǎn)品，作為明星試點產(chǎn)品,產(chǎn)品相關(guān)性,根據(jù)持有產(chǎn)品的客戶特征，持有產(chǎn)品特征的相關(guān)性，找出交叉產(chǎn)品，產(chǎn)品間的關(guān)聯(lián)關(guān)系。,團隊持有產(chǎn)品分析,按團隊持有十九大類產(chǎn)品，分析持有產(chǎn)品的客戶數(shù)、時點余額、產(chǎn)品余額月日均、產(chǎn)品余額年日

19、均、產(chǎn)品支出金額、產(chǎn)品收入金額、產(chǎn)品創(chuàng)利。,系統(tǒng)模型介紹-碼值整理,通過該表，可以把來源于不同系統(tǒng)的不同代碼與碼值關(guān)系，統(tǒng)一到對公集市統(tǒng)一的代碼與碼值的映射關(guān)系。,系統(tǒng)模型介紹-碼值整理,通過這兩個表，可以查看對公集市每個表每個碼值字段對應(yīng)的相應(yīng)代碼。 注意：目前對公集市的碼值還需要不斷的增加和完善。,數(shù)據(jù)生命周期管理,數(shù)據(jù)生命周期管理-舉例,分區(qū)表，一般策略為保留7天歷史數(shù)據(jù)，附加策略為保留3年月末數(shù)據(jù),分區(qū)表，一般策略為保留3年歷史數(shù)據(jù)，沒有附加策略,分區(qū)表，一般策略為保留3個月歷史數(shù)據(jù)，附加策略為保留3年月末數(shù)據(jù),分區(qū)表，因為狀態(tài)為失效，所以數(shù)據(jù)生命周期管理策略不生效,非分區(qū)表，一般策略為保留7天歷史數(shù)據(jù)，附加策略為保留3年月末數(shù)據(jù),調(diào)度批次介紹,明細(xì)層與匯總層的作業(yè)結(jié)束都加了trig標(biāo)志，作業(yè)名為表名加“_trig”,調(diào)度批次介紹-依賴關(guān)系,task_pdm_codm_detail,task_app_codm,t