Sybase數(shù)據(jù)倉(cāng)庫(kù)在xx證券公司的應(yīng)用方案

年4月19日Sybase數(shù)據(jù)倉(cāng)庫(kù)在xx證券公司的應(yīng)用方案文檔僅供參考Sybase數(shù)據(jù)倉(cāng)庫(kù)在XX證券公司的應(yīng)用方案

在信息化浪潮的沖擊下，為了處理大量的業(yè)務(wù)數(shù)據(jù)，快速地制定準(zhǔn)確的決策，從而迎接未來(lái)的嚴(yán)峻挑戰(zhàn)，處于許多行業(yè)的各類組織機(jī)構(gòu)都在積極地部署自己的信息系統(tǒng)架構(gòu)。在這種情況下，系統(tǒng)解決方案提供商就面臨著艱巨的任務(wù)，她們需要更深入地了解各個(gè)行業(yè)的業(yè)務(wù)處理要求和決策流程的特點(diǎn)，從而提供性能卓越、適合需求的解決方案。當(dāng)前，許多廠商都在不斷的探索，并尋求積極的技術(shù)突破。在這方面，享有良好市場(chǎng)聲譽(yù)的行業(yè)解決方案提供商Sybase公司走在了業(yè)界的前列，它向市場(chǎng)推出了眾多優(yōu)秀的解決方案，其范圍涵蓋傳統(tǒng)數(shù)據(jù)庫(kù)、Internet應(yīng)用及電子商務(wù)等領(lǐng)域，特別是其行業(yè)解決方案，更是成為市場(chǎng)上一道奪目的亮點(diǎn)，成為眾多機(jī)構(gòu)系統(tǒng)部署的首選。在中國(guó)市場(chǎng)，在數(shù)據(jù)處理量龐大、信息化程度要求嚴(yán)格的證券領(lǐng)域，Sybase的數(shù)據(jù)倉(cāng)庫(kù)解決方案得到了廣泛的好評(píng)。其中，國(guó)內(nèi)著名的證券機(jī)構(gòu)--XX證券就在其信息系統(tǒng)中部署了Sybase的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，為它的信息處理和決策制定提供強(qiáng)大的后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)和前端分析應(yīng)用支持。XX證券的系統(tǒng)需求當(dāng)前，中國(guó)的金融領(lǐng)域正在經(jīng)歷大幅度的變革。在宏觀方面，我們的金融政策正進(jìn)一步放寬，金融市場(chǎng)的開(kāi)放程度日益擴(kuò)大，其中證券業(yè)也將擁有開(kāi)放程度更高、競(jìng)爭(zhēng)更激烈而變化又更迅速的整體環(huán)境。從微觀而言，許多金融業(yè)務(wù)不斷誕生，用戶的需求也不斷變化，金融服務(wù)將占據(jù)舉足輕重的地位。具體到證券業(yè)而言，它的業(yè)務(wù)處理和決策支持將面臨前所未有的挑戰(zhàn)。因此，除了提高自身的意識(shí)和能力水平外，證券業(yè)還需要部署先進(jìn)的信息化系統(tǒng)，為新時(shí)代的金融競(jìng)爭(zhēng)作好應(yīng)戰(zhàn)準(zhǔn)備。正是鑒于嚴(yán)峻的市場(chǎng)形勢(shì)和自身的發(fā)展需要，國(guó)內(nèi)的大型證券商XX證券決定構(gòu)建自己的高級(jí)信息系統(tǒng)，以處理龐大的業(yè)務(wù)，并為自己的決策提供支持。參考XX的業(yè)務(wù)模式和信息技術(shù)的發(fā)展趨勢(shì)，XX證券在構(gòu)建信息化系統(tǒng)時(shí)需要充分考慮到下列運(yùn)作特點(diǎn)：（1）數(shù)據(jù)處理流量大。除了機(jī)構(gòu)自身的投資業(yè)務(wù)外，XX證券還將處理來(lái)自大量用戶的交易數(shù)據(jù)。由于業(yè)務(wù)的規(guī)模較大，而且當(dāng)前中國(guó)的證券業(yè)也正處在高速發(fā)展的時(shí)期，上交所、深交所的上市公司不斷增加，股民數(shù)量也不斷增加，來(lái)自各方面的數(shù)據(jù)自然就呈猛增之勢(shì)。而且隨著股市的風(fēng)云變換，牛市、熊市的交相更替，數(shù)據(jù)的處理量會(huì)呈現(xiàn)驟增驟減之勢(shì)，其特點(diǎn)也難以把握，這將是信息系統(tǒng)需要解決的問(wèn)題之一；（2）實(shí)時(shí)性強(qiáng)。在證券市場(chǎng)行情瞬息萬(wàn)變的今天，交易和決策的實(shí)時(shí)能力將成為至關(guān)重要的因素之一，只有對(duì)信息作出最快的響應(yīng)，證券機(jī)構(gòu)或是股民才可能在市場(chǎng)中搶占先機(jī)。這也是證券行業(yè)一個(gè)比較突出的特點(diǎn)；（3）安全性高。在信息（數(shù)據(jù)）的潛在價(jià)值難以估計(jì)的證券市場(chǎng)，數(shù)據(jù)的安全性相當(dāng)重要。XX證券的信息系統(tǒng)必須保證確保進(jìn)入的每一條信息的安全性，這樣才能充分保證擁有這些信息的主人的利益，維護(hù)證券市場(chǎng)的秩序；（4）實(shí)現(xiàn)強(qiáng)大的分析功能，提供可靠的決策支持。證券市場(chǎng)的變幻無(wú)常導(dǎo)致決策者需要采取快速的應(yīng)對(duì)措施，而這些措施并不是空穴來(lái)風(fēng)，無(wú)根無(wú)據(jù)，它需要信息系統(tǒng)提供相應(yīng)的數(shù)據(jù)分析，從而幫助決策者更好地把握未來(lái)的趨勢(shì)。根據(jù)這些需求特點(diǎn)，XX證券的信息系統(tǒng)就需要強(qiáng)大的后臺(tái)支持，也需要卓越的前端應(yīng)用，以幫助它提供融合的應(yīng)用，實(shí)時(shí)的處理，智能的決策支持等特性?？傮w而言，該系統(tǒng)需要準(zhǔn)確了解和掌握公司業(yè)務(wù)的歷史，及時(shí)掌握當(dāng)前的運(yùn)營(yíng)狀況，熟悉客戶的情況和要求，科學(xué)評(píng)估投資和金融風(fēng)險(xiǎn)，并準(zhǔn)確預(yù)測(cè)市場(chǎng)變化和未來(lái)走勢(shì)。為了滿足這些功能要求，在最終的數(shù)據(jù)系統(tǒng)選型中，XX證券借鑒了招商銀行的成功經(jīng)驗(yàn)，選擇了Sybase的數(shù)據(jù)倉(cāng)庫(kù)解決方案，以幫助其成功地實(shí)現(xiàn)交易數(shù)據(jù)的集中處理和分析。XX證券的系統(tǒng)機(jī)構(gòu)與功能在建設(shè)過(guò)程中，XX證券采用了三層結(jié)構(gòu)的設(shè)計(jì)方式。其中第一層為業(yè)務(wù)處理層，包括各種業(yè)務(wù)處理系統(tǒng)的電子化，比如證券交易系統(tǒng)、電子商務(wù)系統(tǒng)和券銀轉(zhuǎn)賬系統(tǒng)等。第二個(gè)層次即辦公動(dòng)化層，XX證券開(kāi)發(fā)了電子郵件、公文審批、報(bào)表和公共信息等子系統(tǒng)，第三層為決策支持層，在這一層中Sybase的數(shù)據(jù)倉(cāng)庫(kù)發(fā)揮了卓越的特性。其結(jié)構(gòu)如下圖所示：【總體功能特點(diǎn)】

以Sybase的數(shù)據(jù)倉(cāng)庫(kù)為依托，XX證券擁有了強(qiáng)大的經(jīng)紀(jì)業(yè)務(wù)分析系統(tǒng)，該系統(tǒng)提供眾多經(jīng)濟(jì)業(yè)務(wù)功能，包括資金、證券、客戶、資金交易和非資金交易。它采用兩種客戶端：瀏覽器（提供固定報(bào)表和OLAP)和專業(yè)客戶端（提供更多功能的OLAP，固定報(bào)表和即席查詢），從而可有針對(duì)性的高速響應(yīng)不同用戶的需求?？傮w而言，該系統(tǒng)采用的分析方法為多維表、多維圖等分析方法。在多維表分析中，用戶能夠從多個(gè)角度，逐層察看到明細(xì)的詳細(xì)資料，并可對(duì)這些資料做可視化分析。在可視化分析中，表現(xiàn)多種指標(biāo)的圖（柱狀圖、餅圖及分布圖等）與數(shù)據(jù)表等之間的內(nèi)容是全部相關(guān)的，即無(wú)論在其中的任一圖（表）選中一些內(nèi)容，選中的數(shù)據(jù)在其它圖（表）的情況也相應(yīng)表現(xiàn)出來(lái)。同樣，也可對(duì)指標(biāo)的某段時(shí)間內(nèi)的情況進(jìn)行可視化分析。其具體分析子系統(tǒng)包括：●帳戶的統(tǒng)計(jì)分析。按日（周、月、季、年）統(tǒng)計(jì)各營(yíng)業(yè)部、各客戶經(jīng)理、各類客戶、各市值區(qū)間客戶以及各種貨幣的帳戶數(shù)量、股東數(shù)量、資金余額、可用資金、凍結(jié)資金、股票市值等的總額；當(dāng)期買(mǎi)入證券的成交金額、當(dāng)期賣出證券的成交金額、盈虧情況、持倉(cāng)比例和活躍度等情況

●托管股份統(tǒng)計(jì)分析。按日（周、月、季、年）統(tǒng)計(jì)各營(yíng)業(yè)部、各客戶經(jīng)理、各類客戶、各市值區(qū)間、各種貨幣以及深滬兩個(gè)市場(chǎng)的各類證券的各種股份的持倉(cāng)股數(shù)、凍結(jié)股數(shù)、未交收股數(shù)、股票市值、平均持倉(cāng)成本、總的買(mǎi)入股數(shù)、總買(mǎi)入的成交金額、總的賣出股數(shù)、總賣出的成交金額、市場(chǎng)占有率，盈虧情況等。

●資金交易綜合分析。按日（周、月、季、年）統(tǒng)計(jì)各營(yíng)業(yè)部、各客戶經(jīng)理、各類客戶、各市值區(qū)間、各種貨幣、深滬兩個(gè)市場(chǎng)、各類證券、各種股份、各種交易方式的各種交易的筆數(shù)、交易金額?！竞诵慕M件的屬性及優(yōu)點(diǎn)】

在該系統(tǒng)和這些分析功能的背后，是Sybase數(shù)據(jù)倉(cāng)庫(kù)解決方案中的AdaptiveServerIQ在發(fā)揮強(qiáng)大的支持作用。該產(chǎn)品是Sybase特意設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)與管理系統(tǒng)，它突破了傳統(tǒng)技術(shù)的很多限制，能夠?yàn)橛脩籼峁╈`活的查詢功能和快速的響應(yīng)能力，從而支持多用戶環(huán)境下的交互式分析。在XX證券的系統(tǒng)中，該產(chǎn)品技術(shù)體現(xiàn)出了以下獨(dú)特的屬性：◆縱向劃分：AdaptiveServerIQ是按列而不是按行存儲(chǔ)和訪問(wèn)數(shù)據(jù)的。大多數(shù)決策支持查詢所訪問(wèn)的是相對(duì)少量的列，但要跨越大量的行。因此按列查詢就消除了很多不必要的I/O操作。在這種處理方式下，最壞的情況是需要AdaptiveServerIQ掃描整個(gè)列的內(nèi)容。相對(duì)而言，傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)則需要作整個(gè)表的掃描。憑借這項(xiàng)屬性，XX證券的信息系統(tǒng)就可實(shí)現(xiàn)快速的響應(yīng)。

◆數(shù)據(jù)壓縮：按照AdaptiveServerIQ的存儲(chǔ)方式，對(duì)同一批行數(shù)據(jù)，實(shí)際在硬盤(pán)上占用的空間只是傳統(tǒng)存儲(chǔ)方法所占空間的40%到50%，這樣既大幅度減少了對(duì)存儲(chǔ)空間的占用，又減少了查詢處理中所需的I/O操作。

◆對(duì)超大數(shù)據(jù)庫(kù)的支持：AdaptiveServerIQ使企業(yè)在處理能力上擁有極大的伸縮性，它能夠同時(shí)支持從幾百到幾千個(gè)并發(fā)用戶，一個(gè)表所擁有的行數(shù)能夠高達(dá)281萬(wàn)億行，一個(gè)表所擁有的列數(shù)能夠高達(dá)16000個(gè)，能夠支持總?cè)萘窟_(dá)128TB的超大數(shù)據(jù)庫(kù)。這些特性對(duì)于用戶身份復(fù)雜、信息來(lái)源多樣的證券系統(tǒng)來(lái)說(shuō)，無(wú)疑具有特殊的意義。

◆并行化處理：在數(shù)據(jù)和/或用戶增加時(shí)，AdaptiveServerIQ系統(tǒng)具備了很強(qiáng)的伸縮能力。另外，為了更充分地利用能夠得到的處理機(jī)資源，在加載數(shù)據(jù)或補(bǔ)充數(shù)據(jù)時(shí)，AdaptiveServerIQ進(jìn)一步對(duì)加載過(guò)程實(shí)施并行處理。

◆預(yù)連接：AdaptiveServerIQ容許設(shè)計(jì)者在處理中充分利用表之間已知的連接關(guān)系，為此只需在相關(guān)的表之間預(yù)先定義好這類連接并建立索引即可。有這些連接索引，即可減少查詢時(shí)所需的處理的總量。連接索引加上在查詢執(zhí)行中動(dòng)態(tài)選擇的各種連接算法，即可大幅度改進(jìn)即興式表連接的效率。

◆DSS查詢處理器：這是一個(gè)查詢處理的智能軟件,它能夠根據(jù)對(duì)每個(gè)查詢的分析,選擇最適合的存取方法與算法。AdaptiveServerIQ能很有效地對(duì)決策支持分析中大量典型而復(fù)雜的查詢進(jìn)行處理。因此，使用AdaptiveServerIQ時(shí)，已無(wú)須數(shù)據(jù)庫(kù)管理員進(jìn)行人工干預(yù)，或優(yōu)化查詢的執(zhí)行過(guò)程，她們能夠?qū)⒕Ψ诺礁匾氖虑樯先ァ?/p>

◆多叢結(jié)構(gòu)：AdaptiveServerIQ能夠?qū)⒍鄠€(gè)NT節(jié)點(diǎn)和UNIX節(jié)點(diǎn)組織在一個(gè)應(yīng)用系統(tǒng)中，它所提供的伸縮性和所花的代價(jià)只是海量并行處理機(jī)系統(tǒng)（MPP）或者其它查詢方法的若干分之一。還有，具有多叢結(jié)構(gòu)的AdaptiveServerIQ能夠同時(shí)支持?jǐn)?shù)千個(gè)用戶，這是任何其它關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)都難以做到的事。在上述屬性的支持下，XX證券的系統(tǒng)能夠?qū)崿F(xiàn)以下好處：高效而代價(jià)合理：將所需處理的數(shù)據(jù)結(jié)構(gòu)減少到只及常規(guī)數(shù)據(jù)庫(kù)所需處理量的20%左右，從而減少了硬盤(pán)開(kāi)銷?？焖俜磻?yīng)：I/O操作的大規(guī)模減少，消除了大多數(shù)決策支持查詢處理中固有的瓶頸問(wèn)題，同時(shí)提供了快速反應(yīng)能力。快速反應(yīng)查詢靈活：存取方法只與數(shù)據(jù)有關(guān)而與查詢無(wú)關(guān),因此正確的數(shù)據(jù)結(jié)構(gòu)在數(shù)據(jù)加載時(shí)就能夠預(yù)期得到。因此，數(shù)據(jù)倉(cāng)庫(kù)的用戶能夠隨心所欲地提出查詢要求而無(wú)須數(shù)據(jù)庫(kù)管理員作任何干預(yù)，并能確保快速地訪問(wèn)當(dāng)前信息和實(shí)施快速而有效的加載與更新處理。數(shù)據(jù)倉(cāng)庫(kù)，為XX證券的信息系統(tǒng)提供應(yīng)用源泉在XX證券的系統(tǒng)中，Sybase的數(shù)據(jù)倉(cāng)庫(kù)充分提供了信息整合、分析支持等強(qiáng)大功能。在實(shí)際的應(yīng)用中，它在許多方面都體現(xiàn)了超強(qiáng)的優(yōu)越性。在客戶服務(wù)方面，該系統(tǒng)能夠快速地完成用戶的數(shù)據(jù)處理，提供及時(shí)的查詢響應(yīng)，從而達(dá)到完善客戶服務(wù)的目的。而且該系統(tǒng)的統(tǒng)計(jì)功能設(shè)計(jì)非常貼近XX證券營(yíng)業(yè)部的實(shí)際經(jīng)營(yíng)流程，能夠隨時(shí)反映它們的經(jīng)營(yíng)狀況，并針對(duì)經(jīng)營(yíng)中出現(xiàn)的問(wèn)題提供風(fēng)險(xiǎn)告警，協(xié)助有關(guān)人員防范經(jīng)營(yíng)風(fēng)險(xiǎn)。另外，該系統(tǒng)一個(gè)突出的應(yīng)用特點(diǎn)是具有強(qiáng)大的分析功能，它能夠隨機(jī)應(yīng)用多種股市模型和多種經(jīng)濟(jì)理論，并進(jìn)行多種組合理論的分析。無(wú)論是客戶的換手操作，還是機(jī)構(gòu)自身的業(yè)務(wù)決策，該系統(tǒng)都能夠提供全面而又完善的分析結(jié)果，而且這些