數(shù)據(jù)倉庫技術(shù)及其在金融系統(tǒng)中的應(yīng)用

數(shù)據(jù)倉庫技術(shù)及其

在金融系統(tǒng)中的應(yīng)用Informix中國有限公司數(shù)據(jù)倉庫及Web/電子商務(wù)業(yè)務(wù)部

TheonewiththeSMARTESTDATAwins2Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展聯(lián)機(jī)分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應(yīng)用Informix的數(shù)據(jù)倉庫解決方案Informix針對數(shù)據(jù)倉庫的技術(shù)支持和咨詢服務(wù)內(nèi)容提要Informix軟件公司1980年成立、總部位于美國加州MenloPark專業(yè)數(shù)據(jù)庫軟件廠商、數(shù)據(jù)庫技術(shù)的領(lǐng)導(dǎo)者致力于為開放系統(tǒng)(UNIX&NT)提供數(shù)據(jù)庫產(chǎn)品第二大數(shù)據(jù)庫供應(yīng)商高性能、運(yùn)行穩(wěn)定、概念創(chuàng)新?lián)碛?500名員工1000多名員工致力于科研開發(fā)124家辦事機(jī)構(gòu)遍布全球具備良好的資金和財(cái)政實(shí)力Informix在中國沈陽北京深圳上海西安成都長沙廣州。?？偛糠止巨k事處香港7x24技術(shù)支持服務(wù)ISO9002規(guī)范運(yùn)作的響應(yīng)中心(1999.1)全球支持體系的一部分5產(chǎn)品與技術(shù)的發(fā)展方向面向數(shù)據(jù)管理的三個(gè)主要市場方向數(shù)據(jù)倉庫Internet聯(lián)機(jī)事務(wù)處理賦予“Informix”更為豐富的內(nèi)涵6面向聯(lián)機(jī)事務(wù)處理而設(shè)計(jì)的

——InformixDynamicServer7高擴(kuò)展性內(nèi)核多線索技術(shù)數(shù)據(jù)分割客戶/服務(wù)器連接批量插入行級(jí)封鎖Informix數(shù)據(jù)庫在聯(lián)機(jī)事務(wù)處理中的優(yōu)勢內(nèi)存駐留表分布式透明性雙向分布式數(shù)據(jù)復(fù)制高可靠性角色分割和審計(jì)可管理性8Informix在國內(nèi)的部分應(yīng)用銀行建設(shè)銀行全行業(yè)務(wù)3000+點(diǎn)工商銀行除mainframe以外所有數(shù)據(jù)管理環(huán)境光大銀行全行業(yè)務(wù)城市商業(yè)銀行全國95%以上點(diǎn)農(nóng)村信用社中國銀行電信全國移動(dòng)網(wǎng)管全國電信97縱向聯(lián)網(wǎng)全國IC卡電話計(jì)費(fèi)及管理國信尋呼系統(tǒng)遼寧移動(dòng)計(jì)費(fèi)、數(shù)據(jù)倉庫廣東97工程本地網(wǎng)計(jì)費(fèi)天津、重慶97工程北京長話計(jì)費(fèi)9Informix在國內(nèi)的部分應(yīng)用cont.保險(xiǎn)中保人壽中保財(cái)險(xiǎn)新華人壽政府鐵路互連網(wǎng)(全國)廣電部OA系統(tǒng)上海市工商局人民日報(bào)Chinabyte首都在線郵政上海綠卡江蘇綠卡制造業(yè)MotorolaLucent松下電器10Informix應(yīng)用的特點(diǎn)以聯(lián)機(jī)事務(wù)處理系統(tǒng)著稱龐大的裝機(jī)量和業(yè)務(wù)量高性能、低消耗、易維護(hù)11Informix的Internet解決方案12Internet的數(shù)據(jù)庫應(yīng)用技術(shù)特點(diǎn)和優(yōu)勢對象技術(shù)擴(kuò)展關(guān)系數(shù)據(jù)庫提供Internet數(shù)據(jù)管理基礎(chǔ)建立數(shù)據(jù)庫與Web服務(wù)器的橋梁提供客戶端免維護(hù)的功能提供Internet數(shù)據(jù)庫應(yīng)用模板和框架以定制取代開發(fā)主要應(yīng)用人民日報(bào)、ChinaByte、首都在線、鐵路互連網(wǎng)全國電信97縱向網(wǎng)、上海信息港、北京文獻(xiàn)服務(wù)中心廣電部OA工程、中國商品交易市場13銀行計(jì)算機(jī)系統(tǒng)涉及的數(shù)據(jù)庫技術(shù)銀行應(yīng)用系統(tǒng)業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)銀行/電子商務(wù)管理/決策支持系統(tǒng)14Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展聯(lián)機(jī)分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應(yīng)用Informix的數(shù)據(jù)倉庫解決方案Informix針對數(shù)據(jù)倉庫的技術(shù)支持和咨詢服務(wù)內(nèi)容提要業(yè)務(wù)系統(tǒng)與信息處理系統(tǒng)OLAP－決策分析系統(tǒng)聯(lián)機(jī)分析市場決策OLTP－業(yè)務(wù)系統(tǒng)為支持企業(yè)生產(chǎn)運(yùn)作而建立根據(jù)企業(yè)業(yè)務(wù)過程的需求而開發(fā)16銀行業(yè)務(wù)系統(tǒng)的發(fā)展電子化進(jìn)程積累大量數(shù)據(jù)可能成為有用信息也可能成為系統(tǒng)包袱新的業(yè)務(wù)和服務(wù)方式不斷涌現(xiàn)借記卡、ATM、電話銀行、網(wǎng)絡(luò)銀行各種產(chǎn)品和業(yè)務(wù)的效益、風(fēng)險(xiǎn)、對銀行發(fā)展的影響帳務(wù)中心向客戶中心的轉(zhuǎn)化業(yè)務(wù)評估模式發(fā)生變化從粗放型經(jīng)營模式向分析型經(jīng)營模式轉(zhuǎn)化用戶數(shù)據(jù)的應(yīng)用模式更大的效益使業(yè)務(wù)更加高效采集數(shù)據(jù)分析數(shù)據(jù)數(shù)據(jù)庫應(yīng)用的發(fā)展數(shù)據(jù)庫應(yīng)用發(fā)展的新變化聯(lián)機(jī)分析應(yīng)用的興起聯(lián)機(jī)分析應(yīng)用的特點(diǎn)查詢的動(dòng)態(tài)和復(fù)雜性數(shù)據(jù)量的擴(kuò)展數(shù)據(jù)庫技術(shù)的新挑戰(zhàn)與聯(lián)機(jī)事務(wù)處理的不同數(shù)據(jù)倉庫概念的提出數(shù)據(jù)倉庫成為信息系統(tǒng)核心數(shù)據(jù)庫應(yīng)用聯(lián)機(jī)事務(wù)處理聯(lián)機(jī)分析處理聯(lián)機(jī)分析應(yīng)用特點(diǎn)動(dòng)態(tài)的數(shù)據(jù)查詢模式增量變化的數(shù)據(jù)內(nèi)容多維的分析統(tǒng)計(jì)模式不影響聯(lián)機(jī)事務(wù)處理系統(tǒng)的性能復(fù)雜分析處理的能力易學(xué)易用、適應(yīng)非專業(yè)人員使用20傳統(tǒng)報(bào)表系統(tǒng)不足以滿足用戶需求管理信息系統(tǒng)報(bào)表批處理數(shù)據(jù)靜態(tài)合計(jì)數(shù)據(jù)當(dāng)前操作數(shù)據(jù)面向管理信息系統(tǒng)數(shù)據(jù)倉庫/聯(lián)機(jī)分析聯(lián)機(jī)數(shù)據(jù)動(dòng)態(tài)/多維合計(jì)/明細(xì)擁有歷史數(shù)據(jù)面向業(yè)務(wù)的聯(lián)機(jī)分析系統(tǒng)的實(shí)現(xiàn)途徑數(shù)據(jù)影響聯(lián)機(jī)業(yè)務(wù)系統(tǒng)的處理業(yè)務(wù)數(shù)據(jù)非集成性信息不完整時(shí)間不一致缺乏歷史數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)環(huán)境復(fù)雜異構(gòu)分布數(shù)據(jù)倉庫系統(tǒng)操作環(huán)境ExtractIntegrateTransformMaintainDataWarehouse分析環(huán)境Reporting

DataMiningOLAPOLTPExternalLegacy什么是數(shù)據(jù)倉庫(DataWarehouse)？INFORMATION

信息數(shù)據(jù)倉庫(DataWarehouse)是一種專為聯(lián)機(jī)分析應(yīng)用和決策支持系統(tǒng)提供數(shù)據(jù)源的結(jié)構(gòu)化的數(shù)據(jù)環(huán)境數(shù)據(jù)倉庫要解決的問題是從數(shù)據(jù)庫中獲取信息的問題。

信息INFORMATION數(shù)據(jù)源數(shù)據(jù)管理訪問和分析數(shù)據(jù)倉庫體系結(jié)構(gòu)操作數(shù)據(jù)數(shù)據(jù)倉庫

(企業(yè)級(jí))歷史數(shù)據(jù)數(shù)據(jù)集市

(部門級(jí))DataMart

(Departmental)ThePostVISA外部數(shù)據(jù)源數(shù)據(jù)倉庫的目的——從信息獲取財(cái)富跨國電訊企業(yè)用戶效益分析促銷收益分析客戶保有量分析大型零售商商品種類管理市場需求分析庫存優(yōu)化主要金融機(jī)構(gòu)風(fēng)險(xiǎn)管理欺詐檢測客戶信用分析26OLTP幫助您運(yùn)行業(yè)務(wù)…

數(shù)據(jù)倉庫幫助您優(yōu)化業(yè)務(wù)為什么需要數(shù)據(jù)倉庫27數(shù)據(jù)倉庫在銀行業(yè)的應(yīng)用客戶市場分析/客戶分類分析風(fēng)險(xiǎn)管理效益分析28客戶市場分析/客戶分類分析客戶市場分析通過年齡、性別、社會(huì)階層等屬性分析客戶群體的特征客戶分類分析根據(jù)客戶群的消費(fèi)特征分割分析目的了解整個(gè)市場切實(shí)的行為特點(diǎn)有針對性吸引某一潛在的客戶群為市場計(jì)劃提供先決依據(jù)29風(fēng)險(xiǎn)管理風(fēng)險(xiǎn)管理包含各種風(fēng)險(xiǎn)業(yè)務(wù)種類的擴(kuò)展使風(fēng)險(xiǎn)種類更加復(fù)雜風(fēng)險(xiǎn)管理的要求更高數(shù)據(jù)倉庫用于評估各類因素對各種風(fēng)險(xiǎn)的影響找出關(guān)鍵的因素加以控制30效益分析機(jī)構(gòu)效益針對分行或支行、銀行內(nèi)部的機(jī)構(gòu)面向地域、經(jīng)營和管理產(chǎn)品效益金融服務(wù)的種類客戶效益不同的客戶群為銀行帶來的效益組合效益分析三種效益分析因素的組合31數(shù)據(jù)倉庫對于銀行整體發(fā)展在各類主要分析的基礎(chǔ)上加入財(cái)務(wù)信息人力資源信息從決策層進(jìn)行宏觀分析和決策建立BalancedScorecardHarvard92年提出的新的管理概念分析PerformanceMatrix找出企業(yè)KPI(KeyPerformanceIndicator)增強(qiáng)投資回報(bào)32Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展聯(lián)機(jī)分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應(yīng)用Informix的數(shù)據(jù)倉庫解決方案Informix針對數(shù)據(jù)倉庫的技術(shù)支持和咨詢服務(wù)內(nèi)容提要33Informix的數(shù)據(jù)倉庫34SKU-AD-57897643863-74883876-SDS-UR7SKU48937SKU數(shù)據(jù)分析多維分析、數(shù)據(jù)挖掘企業(yè)級(jí)數(shù)據(jù)倉庫相關(guān)的數(shù)據(jù)集市數(shù)據(jù)倉庫的體系結(jié)構(gòu)聯(lián)機(jī)事務(wù)處理系統(tǒng)抽取轉(zhuǎn)換裝載(ETL)SAPBaanPeopleSoftLawsonSiebelWEB數(shù)據(jù)歷史數(shù)據(jù)FinanceDistributionAccountingManufacturingSupplierMgmt35數(shù)據(jù)倉庫的產(chǎn)品部件歷史數(shù)據(jù)y操作數(shù)據(jù)外部數(shù)據(jù)源lFormationInformixDataStage數(shù)據(jù)挖掘操作數(shù)據(jù)存儲(chǔ)RedBrick分析型數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)聯(lián)機(jī)多維分析數(shù)據(jù)分析應(yīng)用SeagateInfo企業(yè)報(bào)表系統(tǒng)訪問及發(fā)布抽取、轉(zhuǎn)換及裝載MetaCubeIDS/AD/XPIDS/AD/XPInfoSeeker合作伙伴36數(shù)據(jù)倉庫的產(chǎn)品部件歷史數(shù)據(jù)y操作數(shù)據(jù)外部數(shù)據(jù)源lFormationInformixDataStage操作數(shù)據(jù)存儲(chǔ)RedBrick分析型數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)聯(lián)機(jī)多維分析數(shù)據(jù)分析應(yīng)用SeagateInfo企業(yè)報(bào)表系統(tǒng)訪問及發(fā)布抽取、轉(zhuǎn)換及裝載MetaCubeIDS/AD/XPIDS/AD/XP合作伙伴建立數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)數(shù)據(jù)抽取數(shù)據(jù)管理數(shù)據(jù)分析38數(shù)據(jù)倉庫的數(shù)據(jù)抽取過程數(shù)據(jù)抽取過程的技術(shù)要點(diǎn)要能適應(yīng)各種數(shù)據(jù)源、應(yīng)付復(fù)雜多變的聯(lián)機(jī)環(huán)境要能嵌入用戶定義的轉(zhuǎn)換過程相應(yīng)調(diào)度和管理機(jī)制數(shù)據(jù)抽取過程多樣化解決數(shù)據(jù)來源問題系統(tǒng)的分布性數(shù)據(jù)的異構(gòu)性信息的不完整性不被業(yè)務(wù)系統(tǒng)的現(xiàn)狀所局限數(shù)據(jù)抽取過程的挑戰(zhàn)工作量原始應(yīng)用系統(tǒng)的復(fù)雜度39Informix的數(shù)據(jù)抽取系統(tǒng)Formation根據(jù)用戶數(shù)據(jù)源的描述自動(dòng)生成C++數(shù)據(jù)抽取、轉(zhuǎn)換、裝載程序運(yùn)行高效不包括調(diào)度系統(tǒng)DataStage圖形化設(shè)計(jì)管理包含調(diào)度環(huán)境SunSolaris,HP-UX,IBMAIX,DigitalUnixServerRepositoryDesignerDirectorRepositoryManagerAdministratorDataStage

WindowsNT4.0Server(Intel&Alpha)Windows95/WindowsNTWorkstationClientDataWarehouseRDBMSOracleMicrosoftSQLServerSybaseInformixUniVerse/UniDataMainframeQSAMVSAMDB2IMSIDMSAdabasDatacomOthersHashFileSeq.orFTPODBCAnySQLBulkLoadersOracleBCP(Sybase&Microsoft)SybaseIQInformixRedBrickSequentialorFTPODBCStagedDataLoadUtilitiesBulkLoadersHashFileUniVerseUniDataOracle7&8SybaseNativeAPINativeAPIOracle7&8SybaseChangeDataCaptureMainframeDataAccessMetaDataExchangeMicrosoftMetaDataRepositorySequential數(shù)據(jù)抽取轉(zhuǎn)換系統(tǒng)——DataStage41DataStage復(fù)雜的數(shù)據(jù)抽取和加載建立數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)數(shù)據(jù)抽取數(shù)據(jù)管理數(shù)據(jù)分析43數(shù)據(jù)倉庫存儲(chǔ)的技術(shù)特性只有量的支持做不到聯(lián)機(jī)分析有數(shù)量同時(shí)要有速度服務(wù)器訪問特性訪問頻率稀疏并行處理優(yōu)勢突出數(shù)據(jù)庫查詢特性查詢涉及數(shù)據(jù)范圍廣傳統(tǒng)索引作用有限多表連接、星型模式計(jì)算復(fù)雜檢索方式、優(yōu)化算法需要突破44Informix數(shù)據(jù)倉庫的可選產(chǎn)品InformixDynamicServer針對SMP的并行處理分析系統(tǒng)的起步IDS+AD+XP針對大規(guī)模并行處理(Cluster,MPP)的服務(wù)器增加對決策支持類查詢的特點(diǎn)大規(guī)模數(shù)據(jù)倉庫InformixRedBrickWarehouse以專業(yè)數(shù)據(jù)倉庫優(yōu)化算法為核心廣泛、靈活的并行處理最常用的數(shù)據(jù)集市解決方案45Informix:并行處理數(shù)據(jù)庫操作串行掃描連接排序處理時(shí)間

并行并行DSA并行地處理任務(wù)DSA將任務(wù)分解成子任務(wù)匯總Informix可實(shí)現(xiàn)并行處理的數(shù)據(jù)庫操作ParallelSelectParallelInsertParallelDeleteParallelUpdateParallelRollbackParallelUnionParallelOuterJoinParallelNotInParallelGroupByParallelOrderByParallelAggregatesParallelHashJoinParallelSortMergeJoinParallelIndexCreationParallelLoad/UnloadParallelBackup/RecoveryInformixExtendedParallelOption多結(jié)點(diǎn)（主機(jī)）組成并行處理陣列：針對MPP和Cluster每個(gè)結(jié)點(diǎn)運(yùn)行ExtendedParallelOption的Co-Server結(jié)點(diǎn)間采用不共享策略(SharedNothing)通過數(shù)據(jù)分割實(shí)現(xiàn)并行處理，提供近線性的性能擴(kuò)展能力ExtendedParallel的工作模式(FunctionShipping)減少網(wǎng)絡(luò)流量降低結(jié)點(diǎn)間資源共享和交互提高并行擴(kuò)展能力(Scalability)49聯(lián)機(jī)分析與事務(wù)處理不同的側(cè)重點(diǎn)事務(wù)處理聯(lián)機(jī)分析系統(tǒng)特點(diǎn)1.操作對象2.系統(tǒng)使用3.更新/查詢(每次操作)4.響應(yīng)時(shí)間5.數(shù)據(jù)庫設(shè)計(jì)(結(jié)構(gòu))6.數(shù)據(jù)庫內(nèi)容(值)7.優(yōu)先程度事務(wù)靜態(tài)單個(gè)記錄<秒級(jí)靜態(tài)動(dòng)態(tài)高性能高可靠數(shù)據(jù)動(dòng)態(tài)記錄集合>分鐘動(dòng)態(tài)靜態(tài)高度靈活性用戶自定義應(yīng)用類型8.操作類型更新查詢50數(shù)據(jù)倉庫與事務(wù)處理的不同要求Universal/OLTP

Purpose-builtforDataWarehousingDivergingRequirements

forDifferentBusinessNeedsDataconsolidationRichhistoricalcontentComprehensibledatastructureQuerythroughputTextual-numericdataprimarilyDataisolationLimitedhistoricalcontentComplexdatastructureTransactionthroughputRichdatatypesCapabilityGap“Onedatabasecannotdoitall”

--METAGroup51Informix數(shù)據(jù)倉庫引擎

的發(fā)展歷程ParallelOn-Demand?One-passParallelLoadProcessing1993SpecializedRDBMSforDataWarehousing1991RISQLExtensionsSTARjoin?,STARindex?1992TimeCyclicDataManagement19941996RichSchemaSupportTARGETindex?1995TARGETjoin?19971998

VistaAggregateMgmtQuery-priorityConcurrency星型模式(Star-Schema)FactTable事務(wù)處理數(shù)據(jù)描述相應(yīng)的屬性（最低層）DimensionTable各種屬性及其層次星型模式的規(guī)范化“雪花”型(snowflake)“維”Keys屬性Facts地點(diǎn)Table時(shí)間Table產(chǎn)品Table客戶TableManyRecords...專為數(shù)據(jù)倉庫而設(shè)計(jì)

最豐富的連接技術(shù)PoorGoodExcellent代價(jià)(磁盤空間,維護(hù)代價(jià))性能BinaryJoinsSTARjoin?RedBrick的各種技術(shù)各種連接和索引技術(shù)適合不同情況優(yōu)化的需要TARGETjoin?未專門優(yōu)化的連接過程PERIODjan,...feb,...mar,...SALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIODjan,…,pen,east,$100jan,…,pen,west,$200feb,…,radio,south,$125mar,…,watch,east,$225PRODUCTradio,...pen,...watch,...SALES+PERIOD+PRODUCTjan,…,pen,…,east,$100jan,…,pen,…,west,$200feb,…,radio,…,south,$125mar,…,watch,…,east,$225MARKETeast,...west,...south,...SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225普通數(shù)據(jù)庫的實(shí)現(xiàn)方法有改進(jìn)，但仍未解決根本問題PERIODjan,...feb,...mar,...PRODUCTradio,...pen,...watch,...PERIOD+PRODUCTjan,…,radio..,jan,…,pen...feb,…,radio...mar,…,watch...MARKETeast,...west,...south,...PERIOD+PRODUCT+MARKETjan,radio,eastjan,radio,westjan,radio,southjan,pen,eastjan,pen,westjan,pen,south...mar,watch,westmar,watch,southSALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225普通優(yōu)化后的方法RedBrick’sSTARJoin實(shí)現(xiàn)方法PERIODjan,...feb,...mar,...PRODUCTradio,...pen,...watch,...MARKETeast,...west,...south,...SALESjan,pen,east,$100jan,pen,west,$200feb,radio,south,$125mar,watch,east,$225SALES+PERIOD+PRODUCT+MARKETjan,...,pen,...,east,...,$100jan,...,pen,...,west,...,$200feb,...,radio,...,south,...,$125mar,...,watch,...,east,...,$225明顯的性能增長！57RedBrick的StarJoin和StarIndex多列星型索引的作用DimensiontableADimensiontableBDimensiontableCFKAFKBFKCCUST_NOOUTLET_IDPROMO_CODEFKAFKBFKCDATA

SA001GWEPIZA2UNIT$120TheFACTTable位圖索引：RedBrick的TARGETindexSTATE/idnameaddressbillingCOUNTRY1D~~~~~~~~~~~~~~~~~NY2A~~~~~~~~~~~~~~~~~NY3B~~~~~~~~~~~~~~~~~NY7C~~~~~~~~~~~~~~~~~UK8B~~~~~~~~~~~~~~~~~NY9A~~~~~~~~~~~~~~~~~NY1C~~~~~~~~~~~~~~~~~NY6A~~~~~~~~~~~~~~~~~NY5D~~~~~~~~~~~~~~~~~CAN5D~~~~~~~~~~~~~~~~~NY8B~~~~~~~~~~~~~~~~~NY3B~~~~~~~~~~~~~~~~~NY6B~~~~~~~~~~~~~~~~~JAPANTARGETindexoncolumnofhighlyskeweddataRedBrickWarehouseAutomaticallyChoosesAppropriateIndexSub-typeIndexType DomainSizePossValues ExampleUncompressedBit-map Small 2-50 Gender,sizeCompressedBit-map Medium 50-500 Country,StateRow-IDList Large 500-1,000ZIPcode,AreacodeB-Tree Verylarge Unique SS#,Customer#Mixsub-typesonsinglecolumn!59位圖索引如何工作CAR1= A 4D LeatherCAR2= A 4D Fabric

CAR3= A 2D L CAR4= M 4D L CAR5= M 4D F CAR6= M 2D L TRANS DOOR SEATQ2:SELECTCARwithAUTO-transmissionandSEATisleather1)BitmapforTrans=Auto: [1,1,1,0,0,0]2)BitmapforDoor=4D: [1,1,0,1,1,0]3)BitmapforSEAT=L: [1,0,1,1,0,1]Bitmap1“AND”Bitmap3= [1,0,1,0,0,0]超級(jí)掃描YearProductQuantityFirstuserscanstableSeconduserpiggybacksonscanThirduseraddedLessI/O!1995LargeScreenTV101995StereoReceiver201995CDPlayer501996RolexWatch401996CordlessTelephone101996CassetteTapePlayer301997StereoReceiver201997CDPlayer501995RolexWatch81995CordlessTelephone201995CassetteTapePlayer301996StereoReceiver201996CDPlayer501997RolexWatch401997CordlessTelephone10……..61Informix數(shù)據(jù)倉庫的性能突出的裝載功能和性能ElapsedTimeOLTPDatabasesPerformDataConversionLoadDataRowsCheckReferentialIntegrityCreateIndexesAggregateRedBrickWarehouse單一集成的裝載過程

InformixRedBrickWarehouse的數(shù)據(jù)倉庫特性

STARindex?STARjoin?

TARGETindex?SuperScan集成的并行裝載快速建立索引并行外連接自動(dòng)匯總自動(dòng)生成父記錄快速分組、排序、分割處理有效子查詢處理I/O訪問最小化RISQL擴(kuò)展支持10GBto2+TB的VLDB以及數(shù)以百計(jì)的并發(fā)用戶線性性能擴(kuò)展并行查詢處理動(dòng)態(tài)查詢優(yōu)化快速上下文檢測索引建立、一致性檢測、數(shù)據(jù)轉(zhuǎn)換同步進(jìn)行派生索引建立共享宏多層次STARjoin?連續(xù)自適應(yīng)TARGETindex?

混合散列索引相關(guān)自查詢緩沖WHERE子句優(yōu)化TraditionalDBMSWithParallelScanWithDSSOption決策支持?jǐn)U展對數(shù)據(jù)倉庫的優(yōu)化1Second8Minutes40Seconds1Minute24Seconds建立數(shù)據(jù)倉庫的關(guān)鍵技術(shù)數(shù)據(jù)抽取數(shù)據(jù)管理數(shù)據(jù)分析66數(shù)據(jù)倉庫的數(shù)據(jù)訪問和分析數(shù)據(jù)倉庫系統(tǒng)的應(yīng)用特點(diǎn)事務(wù)處理系統(tǒng)以應(yīng)用流程為主導(dǎo)數(shù)據(jù)倉庫以數(shù)據(jù)信息為主導(dǎo)數(shù)據(jù)倉庫的多種數(shù)據(jù)訪問方式多維平面應(yīng)用集成多種系統(tǒng)應(yīng)用模式傳統(tǒng)客戶服務(wù)器結(jié)構(gòu)Web/Intranet方式什么是聯(lián)機(jī)分析處理OnlineAnalyticProcessing(OLAP)?OLAP使用戶在隨機(jī)的環(huán)境中通過不同的角度快速分析數(shù)據(jù)倉庫中的信息：地域分析北美歐洲一月二月CosmeticsPerfumesClothingAccessoriesCosmeticsPerfumesClothingAccessories數(shù)據(jù)倉庫的OLAP多維視角FinancialMgr.ViewProductMgr.ViewAdHocViewSalesMgr.ViewSalesProductTimeMarket69基于關(guān)系庫的OLAP體系結(jié)構(gòu)ROLAP體系結(jié)構(gòu):INFORMIX-MetaCubeMetaCube是一種將關(guān)系數(shù)據(jù)庫的行和列為最終用戶表示成多維“立方體”進(jìn)行分析的OALP分析引擎QueryToolsDSS&EISOLESQLRowsCubesDataWarehouseRDBMSMetadataOLAPEngineInformixMetaCube體系結(jié)構(gòu)MetadataDataWarehouseINFORMIXRDBMSSchedulerQueryBackAggregationSamplingIncremental

UpdateWebPublishAlerterServerMiddleTierMetaCubeExplorerWebExplorerMetaCubeforExcelPartners,

CustomEISWarehouseManagerWarehouseOptimizerAgentAdministratorClientINFORMIX-MetaCube

OLAPServerSecureWarehouse智能的匯總數(shù)據(jù)性能優(yōu)化數(shù)據(jù)匯總與數(shù)據(jù)量：TimeDayMonthYearProductBrandCompanyProductRelativeTableSizes

(Greatlyunderstated)選擇適當(dāng)匯總提高查詢效率數(shù)據(jù)采樣優(yōu)化基于采樣數(shù)據(jù)的分析統(tǒng)計(jì)平均數(shù)、占有率、變化趨勢由Informix數(shù)據(jù)倉庫直接提供大幅度提高查詢效率10millionrecords20minutes100%accurate10,000samples1.2seconds98%accurate74MetaCubeWebOLAP解決方案MetaCubeWebExplorer通過瀏覽器進(jìn)行OLAP操作HTML形式顯示結(jié)果客戶端免維護(hù)MetaCube后臺(tái)查詢將耗時(shí)的查詢提交后臺(tái)數(shù)據(jù)庫服務(wù)器釋放前臺(tái)PC做其它工作MetaCube管理工具圖形化數(shù)據(jù)倉庫管理和配置建立邏輯層和物理層數(shù)據(jù)倉庫定義提供向?qū)Ш蜋z測工具加速數(shù)據(jù)倉庫的創(chuàng)建、維護(hù)過程在用戶及管理數(shù)據(jù)倉庫的安全性維護(hù)特定用戶的連接信息設(shè)置用戶性能及資源調(diào)用參數(shù)MetaCubeAgentAdministrator作業(yè)的提交和管理控制和調(diào)度作業(yè)流維護(hù)作業(yè)間依賴關(guān)系定義作業(yè)運(yùn)行模式作業(yè)：數(shù)據(jù)裝載匯總數(shù)據(jù)的維護(hù)采樣數(shù)據(jù)的維護(hù)后臺(tái)查詢SQL命令和操作系統(tǒng)命令Web數(shù)據(jù)發(fā)布預(yù)警通知其它...78報(bào)表——平面的數(shù)據(jù)表現(xiàn)需要經(jīng)常瀏覽的數(shù)據(jù)相對固定的關(guān)系模式支持Intranet瀏覽器的訪問方式InformixSeagateInfo79與應(yīng)用系統(tǒng)的集成數(shù)據(jù)倉庫的訪問需要與企業(yè)級(jí)管理系統(tǒng)和其他應(yīng)用系統(tǒng)集成起來Informix提供基于DCOM的OLAP開發(fā)環(huán)境能夠開發(fā)傳統(tǒng)客戶服務(wù)器應(yīng)用開發(fā)基于Web/Intranet的應(yīng)用80數(shù)據(jù)倉庫系統(tǒng)配置圖81Informix在金融行業(yè)的數(shù)據(jù)倉庫應(yīng)用國外FidelityInvestmentsMerrillLynchVISAStateStreetBankFirstUnionFleetBankBankofAmericaSearsCreditWellsFargoLehmanBrothersBacobBankBancOneBeijingSecurityCenterBerlinerBankShinHanBank國內(nèi)建行信貸97年8月設(shè)計(jì)，98年初運(yùn)行客戶、合同、項(xiàng)目、機(jī)構(gòu)20GB數(shù)據(jù)建行人事系統(tǒng)98年采用針對人力分析數(shù)據(jù)設(shè)計(jì)模式建行龍卡分析系統(tǒng)(未來)82Informix數(shù)據(jù)庫公司及技術(shù)發(fā)展Informix針對銀行業(yè)務(wù)系統(tǒng)的技術(shù)特點(diǎn)聯(lián)機(jī)分析及數(shù)據(jù)倉庫在金融領(lǐng)域的應(yīng)用Informix的數(shù)據(jù)倉庫解決方案Informix的技術(shù)支持和咨詢服務(wù)內(nèi)容提要83Informix的技術(shù)咨詢服務(wù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫快速啟動(dòng)、數(shù)據(jù)倉庫結(jié)構(gòu)設(shè)計(jì)數(shù)據(jù)庫服務(wù)器功能擴(kuò)展空間、時(shí)間序列、消息機(jī)制Web數(shù)據(jù)庫應(yīng)用數(shù)據(jù)庫性能優(yōu)化系統(tǒng)評估、性能優(yōu)化數(shù)據(jù)庫應(yīng)用數(shù)據(jù)庫設(shè)計(jì)、應(yīng)用系統(tǒng)移植數(shù)據(jù)倉庫實(shí)施過程需求分析和規(guī)劃邏輯設(shè)計(jì)和詳細(xì)分析物理設(shè)計(jì)和開發(fā)系統(tǒng)實(shí)現(xiàn)系統(tǒng)產(chǎn)品化評估和反復(fù)需求分析和規(guī)劃確定項(xiàng)目投資人確定核心開發(fā)隊(duì)伍決定數(shù)據(jù)倉庫的內(nèi)容覆蓋范圍和關(guān)注重點(diǎn)從高層次了解業(yè)務(wù)運(yùn)做模式，評估業(yè)務(wù)的各個(gè)角度投資回報(bào)分析在高層次調(diào)查數(shù)據(jù)源及有關(guān)的問題安排各種培訓(xùn)建立各種文檔、包括數(shù)據(jù)倉庫體系結(jié)構(gòu)建立包括項(xiàng)目計(jì)劃、成功標(biāo)準(zhǔn)在內(nèi)的初步文檔邏輯設(shè)計(jì)和詳細(xì)分析進(jìn)行詳細(xì)的用戶技術(shù)會(huì)談確定最終需求及輕重緩急；整理出標(biāo)準(zhǔn)的及隨機(jī)的報(bào)表確定哪些數(shù)據(jù)可以從事務(wù)系統(tǒng)中得到評估各種數(shù)據(jù)轉(zhuǎn)移的策略分析各系統(tǒng)交接環(huán)節(jié)確定源數(shù)據(jù)中孤立的數(shù)據(jù)元素如何與數(shù)據(jù)倉庫中的定義相聯(lián)系分析各維中的各個(gè)層次產(chǎn)生可行性分析和邏輯模型設(shè)計(jì)87企業(yè)數(shù)據(jù)倉庫的建設(shè)思路建立第一個(gè)數(shù)據(jù)集市直接抽取數(shù)據(jù)倉庫/集市為一體獲得投資回報(bào)建立第二個(gè)數(shù)據(jù)集市復(fù)制第一個(gè)數(shù)據(jù)集市為數(shù)據(jù)倉庫為第一個(gè)數(shù)據(jù)集市重建數(shù)據(jù)抽取過程擴(kuò)充數(shù)據(jù)倉庫的數(shù)據(jù)從數(shù)據(jù)倉庫為第二個(gè)數(shù)據(jù)集市填充數(shù)據(jù)建立以后的數(shù)據(jù)集市擴(kuò)充數(shù)據(jù)倉庫從數(shù)據(jù)倉庫向技術(shù)數(shù)據(jù)集市填充數(shù)據(jù)ABAC物理設(shè)計(jì)和開發(fā)在邏輯模型的基礎(chǔ)上在Informix中建立物理模式規(guī)劃數(shù)據(jù)抽取和轉(zhuǎn)移策略定義事務(wù)數(shù)據(jù)和數(shù)據(jù)倉庫數(shù)據(jù)之間的映射評估及選擇查詢工具評估及選擇數(shù)據(jù)轉(zhuǎn)移工具了解數(shù)據(jù)質(zhì)量問題開