動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及應(yīng)用案例

動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及應(yīng)用案例富子祺議題動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實(shí)現(xiàn)議題動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實(shí)現(xiàn)戰(zhàn)略型智能戰(zhàn)術(shù)型智能數(shù)據(jù)倉(cāng)庫(kù)發(fā)展的階段嵌入在發(fā)生什么統(tǒng)計(jì)發(fā)生了什么分析為什么發(fā)生預(yù)測(cè)要發(fā)生什么驅(qū)動(dòng)

計(jì)劃發(fā)生什么批處理即席查詢分析事件觸發(fā)連續(xù)加載/小查詢什么是動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)?動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的定義：一個(gè)用于戰(zhàn)略分析、戰(zhàn)術(shù)驅(qū)動(dòng)、業(yè)務(wù)決策的，具備時(shí)效性、綜合性和一致性的數(shù)據(jù)中心。是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)與動(dòng)態(tài)技術(shù)的整合。及時(shí)更新–實(shí)時(shí)、準(zhǔn)實(shí)時(shí)快速響應(yīng)戰(zhàn)術(shù)查詢事件驅(qū)動(dòng)、主動(dòng)推送需求動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的要求：高效性–生產(chǎn)級(jí)（秒、分）響應(yīng)速度可擴(kuò)展性–支持大數(shù)據(jù)量,混合負(fù)載及并發(fā)用戶可用性–7x24x365數(shù)據(jù)及時(shí)性–準(zhǔn)確的,隨時(shí)更新的數(shù)據(jù)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)參考架構(gòu)EnterpriseMessage/ServiceBusBatchServiceBrokers數(shù)據(jù)倉(cāng)庫(kù)FinanceVendorERPRDBMSBasedEventProcessingASP/JSPMarketingCallCenterFinanceExecutiveSuppliersProduct一線操作型用戶管理層戰(zhàn)略型用戶StreamingPOSLogisticsInternet/IntranetCustomers業(yè)務(wù)流程自動(dòng)化數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)獲取交易服務(wù)決策支持服務(wù)BusinessRulesEventNotificationEventDetection動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)熱點(diǎn)技術(shù)流程為中心和數(shù)據(jù)為中心的技術(shù)J2EEand.NETRDBMSEAIandESBETLandEiiJavaandVBSQLIDEandEclipseBIToolsWorkflowandrulesAnalytics數(shù)據(jù)整合技術(shù)ESB實(shí)時(shí)信息數(shù)據(jù)加載轉(zhuǎn)換數(shù)據(jù)復(fù)制應(yīng)用1適配器轉(zhuǎn)換事件消息應(yīng)用2應(yīng)用3抽取程序轉(zhuǎn)換/清洗Update更新數(shù)據(jù)獲取應(yīng)用App2EDWNetworkApp1EDWApp2App3App4App1弱中等強(qiáng)1510選擇適合的數(shù)據(jù)整策略ETL/ELTESB/EAIReplication主要使用的數(shù)據(jù)大批量抽取數(shù)據(jù)流更新數(shù)據(jù)流數(shù)據(jù)抽取程序1084轉(zhuǎn)換964數(shù)據(jù)清洗911元數(shù)據(jù)85n/a路由/傳輸2105開(kāi)發(fā)工具710n/a實(shí)時(shí)性6810部署的成本459資源消耗468數(shù)據(jù)庫(kù)鎖377事件驅(qū)動(dòng)應(yīng)用（Event-DrivenApplications）事件感知事件處理事件輸出應(yīng)用程序偵測(cè)集成代理智能代理觸發(fā)器行為（模式）識(shí)別ESB儀表盤(pán)應(yīng)用程序Portals過(guò)濾規(guī)則引擎分析歷史分派/發(fā)布告警/KPI觸發(fā)工作流產(chǎn)生新的事件ActiveDataWarehouseEDA（事件驅(qū)動(dòng)架構(gòu)）與SOA（服務(wù)導(dǎo)向架構(gòu)）Event-DrivenArchitectureServiceOrientedArchitecture透明的事件發(fā)布者根本不知道事件訂閱者是否存在松耦合服務(wù)調(diào)用方不關(guān)心服務(wù)實(shí)現(xiàn)方的位置和技術(shù)多對(duì)多發(fā)布與訂閱。事件可以激活很多訂閱者一對(duì)一的通訊每次調(diào)用一個(gè)特殊的服務(wù)，雙向通訊。事件觸發(fā)器流程控制由事件接收者決定服務(wù)調(diào)用方來(lái)觸發(fā)流程控制由服務(wù)調(diào)用方來(lái)啟動(dòng)異步異步操作同步反饋同步發(fā)送給調(diào)用方互補(bǔ)而非競(jìng)爭(zhēng)ESB動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)對(duì)EDA/SOA架構(gòu)的支撐ADWWebserviceEventProcessorWebserviceEventProcessor應(yīng)用事件偵測(cè)通知業(yè)務(wù)一線的用戶告警SPManagerQueueTable觸發(fā)器加載/更新Select/consume衍生外部存儲(chǔ)過(guò)程12WebService事件處理方外部存儲(chǔ)過(guò)程SOAEDA議題動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)在速遞行業(yè)的應(yīng)用－網(wǎng)站/航空業(yè)基于動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的個(gè)性化網(wǎng)站（travelcity）基于Cookie進(jìn)行客戶識(shí)別通過(guò)客戶的個(gè)性化信息來(lái)展現(xiàn)不同的圖像、產(chǎn)品以及廣告由數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)提供這些的信息。IP來(lái)自舊金山曾經(jīng)參與過(guò)哪些旅行活動(dòng)合作伙伴自由行的線路WelcomeTim!PreferredMemberSeeyourrewards!ViewyourprofileSpecialPreferredMemberdiscount!Save$200todayonEuropeanTotalTripPackages!

FareWatcherSFO$83toSanDiego$198toDallas動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)AirfareshopCarfareshopHotelfareshopPackagefareshopDailyCampaignsAccucastTCRMIOSLookertoBookerShopping/BookingMemberprofilesDealAir

DealCarDealHotelDealPackage主頁(yè)低價(jià)票、酒店促銷(xiāo)提醒廣告服務(wù)LeadpricesDealsOffers數(shù)據(jù)倉(cāng)庫(kù)Impression&clickloggingSabreMTSPassportEquitec/AxciomLeadpriceharvestersMerchandisingEngineCampaignChannelAdapterAir,car,hotel,&packageservices動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)上的應(yīng)用支撐狀況中等-低優(yōu)先級(jí)高優(yōu)先級(jí)優(yōu)先級(jí)隨時(shí)調(diào)整實(shí)時(shí)加載報(bào)表即席查詢網(wǎng)站其它應(yīng)用FastLoadMultiLoad350Mrows/day實(shí)時(shí)訪問(wèn)決策支持實(shí)時(shí)加載Teradata批量加載小批量加載300K-1Mrequests/day395KQueries/day695Krows/day動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)在速遞行業(yè)的應(yīng)用－物流業(yè)實(shí)時(shí)動(dòng)態(tài)全程跟蹤查詢?nèi)虝r(shí)限管控系統(tǒng)－以數(shù)據(jù)分析為基礎(chǔ)的主動(dòng)式流程推薦的時(shí)限設(shè)定區(qū)間預(yù)定義維護(hù)規(guī)則數(shù)理統(tǒng)計(jì)方法保障時(shí)限合理性哪些地區(qū)能夠推出更快捷的速遞業(yè)務(wù)逾限提前告警，及時(shí)補(bǔ)救哪些信息需要維護(hù)規(guī)則配置是否符合實(shí)際時(shí)限維護(hù)運(yùn)力與時(shí)限是否存在聯(lián)系時(shí)限應(yīng)用渠道系統(tǒng)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)加載服務(wù)器運(yùn)輸系統(tǒng)（省集中）外部Portal內(nèi)部Portal應(yīng)用服務(wù)器郵政支局(省集中)分揀中心（地市集中）實(shí)時(shí)加載InternetIntranetTIBCO企業(yè)服務(wù)總線TNTKAHALA應(yīng)用支撐狀況資源動(dòng)態(tài)負(fù)載管理、優(yōu)先級(jí)分時(shí)配置實(shí)時(shí)加載報(bào)表即席查詢實(shí)時(shí)網(wǎng)站查詢定時(shí)短信推送實(shí)時(shí)訪問(wèn)決策支持實(shí)時(shí)加載Teradata2.7M/day30KQueries/day15Mrows/day1~3K/30min實(shí)時(shí)反饋實(shí)時(shí)語(yǔ)音查詢?FastLoadMultiLoad批量加載動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)在移動(dòng)行業(yè)的應(yīng)用通訊行業(yè)用戶套餐使用提醒及套餐升級(jí)

用戶訂購(gòu)套餐批量加載實(shí)時(shí)加載客戶通話/發(fā)送短信用戶套餐當(dāng)日實(shí)時(shí)匯總往日匯總++規(guī)則引擎友情提醒：您本月的套餐為399分鐘，現(xiàn)在已使用360分鐘。您的套餐為399分鐘，但截止目前為止您已使用450分鐘，建議您將套餐更換為599套餐，將為您節(jié)省XX元話費(fèi)1、短信告知12593的價(jià)值，2、累計(jì)撥打60分鐘以上獲贈(zèng)10元話費(fèi)1、短信告知非動(dòng)感地帶客戶短信費(fèi)用，動(dòng)感地帶客戶套餐中包含的短信，2、累計(jì)發(fā)送100條獲贈(zèng)話費(fèi)8元1、短信介紹漫游業(yè)務(wù)2、累計(jì)接打電話80分鐘，可獲贈(zèng)話費(fèi)20元。新客戶關(guān)懷客戶購(gòu)卡激活第1次撥打長(zhǎng)途第1次發(fā)送短信第1次使用漫游撥打長(zhǎng)途累計(jì)60分鐘第100次發(fā)送短信累計(jì)接打80分鐘更多次使用業(yè)務(wù)更多業(yè)務(wù)被使用1、短信告知贈(zèng)送話費(fèi)2、短信推薦其他業(yè)務(wù)（全面展開(kāi)后分類(lèi)推廣業(yè)務(wù)）1、短信告知話費(fèi)贈(zèng)送2、短信推薦其他業(yè)務(wù)（全面展開(kāi)后分類(lèi)推廣業(yè)務(wù)）1、短信告知贈(zèng)送話費(fèi)20元2、短信推薦其他業(yè)務(wù)（全面展開(kāi)后分類(lèi)推廣業(yè)務(wù)）使用媒介：短信使用媒介：彩信、短信使用媒介：彩信或短信使用媒介：短信技術(shù)架構(gòu)SDATA（語(yǔ)音、短信等實(shí)時(shí)加載接口）DBOData實(shí)時(shí)匯總計(jì)算系統(tǒng)接口數(shù)據(jù)倉(cāng)庫(kù)BOSS實(shí)時(shí)接口（語(yǔ)音、短信等詳單數(shù)據(jù)）話費(fèi)贈(zèng)送接口參數(shù)配置信息營(yíng)銷(xiāo)客戶信息獎(jiǎng)勵(lì)客戶信息新生用戶信息詳單匯總信息實(shí)時(shí)短信接口引擎實(shí)時(shí)加載實(shí)時(shí)推送定時(shí)回傳議題動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)概念行業(yè)應(yīng)用案例關(guān)鍵技術(shù)實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)實(shí)時(shí)加載策略動(dòng)態(tài)數(shù)據(jù)模型設(shè)計(jì)查詢策略實(shí)時(shí)分析企業(yè)集成混合負(fù)載管理實(shí)時(shí)監(jiān)控業(yè)務(wù)規(guī)則引擎動(dòng)態(tài)數(shù)據(jù)備份相關(guān)系統(tǒng)應(yīng)用監(jiān)控?cái)?shù)據(jù)監(jiān)控設(shè)備監(jiān)控?zé)o時(shí)間窗口備份增量恢復(fù)策略負(fù)載特征優(yōu)化配置高并發(fā)生產(chǎn)級(jí)響應(yīng)事件偵測(cè)容錯(cuò)設(shè)計(jì)實(shí)時(shí)數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)更新性能加載策略設(shè)計(jì)模型融合優(yōu)化策略擴(kuò)展性數(shù)據(jù)加載與模型設(shè)計(jì)實(shí)時(shí)加載1、不間斷數(shù)據(jù)加載－無(wú)人職守加載性能匹配、突增數(shù)據(jù)的應(yīng)急處理加載不能停止，需要自動(dòng)處理異常錯(cuò)誤實(shí)時(shí)記錄檢查/糾正，錯(cuò)誤信息剔除/告知2、數(shù)據(jù)更新率提高事物處理邏輯、級(jí)聯(lián)操作可回退、重復(fù)加載時(shí)序保證3、加載策略數(shù)據(jù)復(fù)制實(shí)時(shí)加載小批次加載加載策略設(shè)計(jì)（例）數(shù)據(jù)模型設(shè)計(jì)與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)模型的融合獨(dú)立設(shè)計(jì)：邏輯動(dòng)態(tài)數(shù)據(jù)集市模型＋傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)模型

松偶合，二次信息整合已有數(shù)據(jù)倉(cāng)庫(kù)的動(dòng)態(tài)性改進(jìn)整體設(shè)計(jì)：統(tǒng)一的動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)模型完全融合、一次信息整合新建動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)基于動(dòng)態(tài)應(yīng)用的模型優(yōu)化非正則化設(shè)計(jì)：冗余信息、多極分區(qū)特殊索引設(shè)計(jì)：表關(guān)聯(lián)索引數(shù)據(jù)時(shí)間戳動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)加載動(dòng)態(tài)數(shù)據(jù)集市傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)模型實(shí)時(shí)應(yīng)用負(fù)載、監(jiān)控與備份不同類(lèi)型的應(yīng)用對(duì)資源需求有不同的特點(diǎn)短查詢(訪問(wèn)量多，消耗小)簡(jiǎn)單匯總及應(yīng)用(訪問(wèn)量中，消耗中)復(fù)雜的匯總及應(yīng)用(訪問(wèn)量大，消耗大)允許執(zhí)行的任務(wù)需要執(zhí)行的任務(wù)快車(chē)道慢車(chē)道副路在動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用環(huán)境中，系統(tǒng)承擔(dān)的各類(lèi)應(yīng)用對(duì)資源的需求類(lèi)型、需求時(shí)段以及需求緊迫性等方面均存在較明顯的差異?；旌县?fù)載管理通過(guò)對(duì)系統(tǒng)資源的合理配置與使用，追求資源的最優(yōu)利用。混合負(fù)載管理用戶屬性AcctID為'$M$'AMPExecutionParsingEngineAG實(shí)際分配相應(yīng)資源性能組（PG）為M基于代價(jià)最優(yōu)執(zhí)行計(jì)劃查詢兩種負(fù)載管理機(jī)制定時(shí)切換－應(yīng)用種類(lèi)多、特征清晰動(dòng)態(tài)分配－應(yīng)用單一、特征不明顯ADW混合負(fù)載管理策略（例）17:00~2:00動(dòng)態(tài)查詢應(yīng)用：48%實(shí)時(shí)數(shù)據(jù)加載：35%數(shù)據(jù)統(tǒng)計(jì)處理：17%2:00~8:00動(dòng)態(tài)查詢應(yīng)用：20%實(shí)時(shí)數(shù)據(jù)加載：30%數(shù)據(jù)統(tǒng)計(jì)處理：50%8:20~12:00動(dòng)態(tài)查詢應(yīng)用：75%實(shí)時(shí)數(shù)據(jù)加載：15%數(shù)據(jù)統(tǒng)計(jì)處理：10%13:20~17:00動(dòng)態(tài)查詢應(yīng)用：75%實(shí)時(shí)數(shù)據(jù)加載：15%數(shù)據(jù)統(tǒng)計(jì)處理：10%12:00~13:20動(dòng)態(tài)查詢應(yīng)用：48%實(shí)時(shí)數(shù)據(jù)加載：35%數(shù)據(jù)統(tǒng)計(jì)處理：17%資源配置策略之間依靠定時(shí)的觸發(fā)進(jìn)行切換實(shí)時(shí)監(jiān)控保障動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)核心服務(wù)健康運(yùn)行應(yīng)用監(jiān)控核心服務(wù)模塊服務(wù)使用量工作流、業(yè)務(wù)規(guī)則引擎數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)收發(fā)匹配數(shù)據(jù)異常系