大數(shù)據(jù)處理綜合處理服務(wù)平臺(tái)的設(shè)計(jì)方案與實(shí)現(xiàn)

1、大數(shù)據(jù)處理綜合處理服務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)（廣州城市職業(yè)學(xué)院廣東 廣州 510405）摘要：在信息技術(shù)高速發(fā)展的今天，金融業(yè)面臨的競(jìng)爭(zhēng)日趨激烈，信息的高度共享和數(shù)據(jù)的安全可靠是系統(tǒng)建設(shè)中優(yōu)先考慮的問(wèn)題。大數(shù)據(jù)綜合處理服務(wù)平臺(tái)支持靈活構(gòu)建面向數(shù)據(jù)倉(cāng)庫(kù)、實(shí)現(xiàn)批量作業(yè)的原子化、參數(shù)化、操作簡(jiǎn)單化、流程可控化，并提供靈活、可自定義的程序接口，具有良好的可擴(kuò)展性。該服務(wù)平臺(tái)以SOA 為基礎(chǔ)，采用云計(jì)算的體系架構(gòu)，整合多種ETL 技術(shù)和不同的ETL 工具，具有統(tǒng)一、高效、可拓展性。該系統(tǒng)整合金融機(jī)構(gòu)的客戶、合約、交易、財(cái)務(wù)、產(chǎn)品等主要業(yè)務(wù)數(shù)據(jù)，提供客戶視圖、客戶關(guān)系管理、營(yíng)銷(xiāo)管理、財(cái)務(wù)分析、質(zhì)量監(jiān)控、風(fēng)險(xiǎn)預(yù)警

2、、業(yè)務(wù)流程等功能模塊。該研究與設(shè)計(jì)打破跨國(guó)廠商在金融軟件方面的壟斷地位，促進(jìn)傳統(tǒng)優(yōu)勢(shì)企業(yè)走新型信息化道路，充分實(shí)現(xiàn)了“資源共享、低投入、低消耗、低排放和高效率”，值得大力發(fā)展和推廣。關(guān)鍵詞：面向金融，大數(shù)據(jù)，綜合處理服務(wù)平臺(tái)。一、研究的意義目前，全球 IT 行業(yè)討論最多的兩個(gè)議題，一個(gè)是大數(shù)據(jù)分析“ Big Data ”， 一個(gè)是云計(jì)算 “CloudComputing ”。中國(guó)五大國(guó)有商業(yè)銀行發(fā)展至今，積累了海量的業(yè)務(wù)數(shù)據(jù)，同時(shí)還不斷的從外界收集數(shù)據(jù)。據(jù)IDC（國(guó)際數(shù)據(jù)公司）預(yù)測(cè)，用于云計(jì)算服務(wù)上的支出在接下來(lái)的 5 年間可能會(huì)出現(xiàn)3 倍的增長(zhǎng)，占據(jù)IT 支出增長(zhǎng)總量中 25% 的份額。目前企

3、業(yè)的各種業(yè)務(wù)系統(tǒng)中數(shù)據(jù)從GB 、TB 到 PB 量級(jí)呈海量急速增長(zhǎng)，相應(yīng)的存儲(chǔ)方式也從單機(jī)存儲(chǔ)轉(zhuǎn)變?yōu)榫W(wǎng)絡(luò)存儲(chǔ)。傳統(tǒng)的信息處理技術(shù)和手段，如數(shù)據(jù)庫(kù)技術(shù)往往只能單純實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等較低層次的功能，無(wú)法充分利用和及時(shí)更新海量數(shù)據(jù)，更難以進(jìn)行綜合研究，中國(guó)的金融行業(yè)也不例外。中國(guó)五大國(guó)有商業(yè)銀行發(fā)展至今，積累了海量的業(yè)務(wù)數(shù)據(jù)，同時(shí)還不斷的從外界收集數(shù)據(jù)。通過(guò)對(duì)不同來(lái)源，不同歷史階段的數(shù)據(jù)進(jìn)行分析，銀行可以甄別有價(jià)值潛力的客戶群和發(fā)現(xiàn)未來(lái)金融市場(chǎng)的發(fā)展趨勢(shì)，針對(duì)目標(biāo)客戶群的特點(diǎn)和金融市場(chǎng)的需求來(lái)研發(fā)有競(jìng)爭(zhēng)力的理財(cái)產(chǎn)品。所以，銀行對(duì)海量數(shù)據(jù)分析的需求是尤為迫切的。再有，在信息技術(shù)高速發(fā)展的今天

4、，金融業(yè)面臨的競(jìng)爭(zhēng)日趨激烈，信息的高度共享和數(shù)據(jù)的安全可靠是系統(tǒng)建設(shè)中優(yōu)先考慮的問(wèn)題。隨著國(guó)內(nèi)銀行業(yè)競(jìng)爭(zhēng)的加劇，五大國(guó)有商業(yè)銀行不斷深化以客戶為中心，以優(yōu)質(zhì)業(yè)務(wù)為核心的經(jīng)營(yíng)理念，這對(duì)銀行自身系統(tǒng)的不斷完善提出了更高的要求。而“云計(jì)算”技術(shù)的推出，將成為銀行增強(qiáng)數(shù)據(jù)的安全性和加快信息共享的速度，提高服務(wù)質(zhì)量、降低成本和贏得競(jìng)爭(zhēng)優(yōu)勢(shì)的一大選擇。面向金融領(lǐng)域的海量數(shù)據(jù)綜合處理服務(wù)平臺(tái)融合了分布式云計(jì)算技術(shù)、SOA 技術(shù)、 ETL 技術(shù)、作業(yè)調(diào)度技術(shù)，以 SOA 為基礎(chǔ)，采用云計(jì)算的體系架構(gòu)，整合多種ETL 技術(shù)和不同的 ETL 工具，為金融行業(yè)建立統(tǒng)一、高效、可拓展的面向金融領(lǐng)域的海量數(shù)據(jù)綜合處理服

5、務(wù)平臺(tái)。該平臺(tái)支持靈活構(gòu)建面向數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)集文件進(jìn)行海量數(shù)據(jù)的處理、加工和交換，實(shí)現(xiàn)批量作業(yè)的原子化、參數(shù)化、操作簡(jiǎn)單化、流程可控化，并提供靈活、可自定義的程序接口，具有良好的可擴(kuò)展性，是一個(gè)基礎(chǔ)服務(wù)框架的產(chǎn)品平臺(tái)。該系統(tǒng)整合金融機(jī)構(gòu)的客戶、合約、交易、財(cái)務(wù)、產(chǎn)品等主要業(yè)務(wù)數(shù)據(jù)，提供客戶視圖、客戶關(guān)系管理、營(yíng)銷(xiāo)管理、財(cái)務(wù)分析、質(zhì)量監(jiān)控、風(fēng)險(xiǎn)預(yù)警、業(yè)務(wù)流程等功能模塊。系統(tǒng)支持構(gòu)筑面向運(yùn)營(yíng)的服務(wù)平臺(tái)，可以按功能點(diǎn)或數(shù)據(jù)量來(lái)向使用方收費(fèi)，使用方按格式要求提供數(shù)據(jù)，然后點(diǎn)擊相關(guān)功能模塊得到目標(biāo)結(jié)果。隨著全球各行業(yè)對(duì)數(shù)據(jù)整合應(yīng)用需求的擴(kuò)大，“面向金融領(lǐng)域的海量數(shù)據(jù)綜合處理服務(wù)平臺(tái)”的需求將會(huì)

6、越來(lái)越大。該平臺(tái)為銀行、證券、保險(xiǎn)行業(yè)等金融領(lǐng)域服務(wù)業(yè)創(chuàng)新和轉(zhuǎn)型升級(jí)提供決策支持，能有效推進(jìn)信息化技術(shù)在傳統(tǒng)金融優(yōu)勢(shì)產(chǎn)業(yè)的融合滲透，屬于國(guó)家優(yōu)先發(fā)展和重點(diǎn)支持技術(shù)領(lǐng)域。從宏觀的角度來(lái)看，通過(guò)本服務(wù)平臺(tái)的實(shí)施，能促進(jìn)我國(guó)金融信息化的發(fā)展，調(diào)整產(chǎn)業(yè)結(jié)構(gòu)，同時(shí)增強(qiáng)企業(yè)品牌競(jìng)爭(zhēng)力，提高企業(yè)在國(guó)內(nèi)外信息科技領(lǐng)域的知名度，打破跨國(guó)廠商在金融軟件方面的壟斷地位，促進(jìn)傳統(tǒng)優(yōu)勢(shì)企業(yè)走新型信息化道路，完善社會(huì)主義市場(chǎng)經(jīng)濟(jì)體制，符合我國(guó)“十二五”規(guī)劃剛要發(fā)展的特點(diǎn)，對(duì)全面建設(shè)小康社會(huì)新勝利、推進(jìn)中國(guó)特色社會(huì)主義偉大事業(yè)，具有十分重要的意義。二、 平臺(tái)設(shè)計(jì)的技術(shù)線路1、 基礎(chǔ)技術(shù)架構(gòu)采用了當(dāng)前先進(jìn)的云計(jì)算技術(shù)，系統(tǒng)采

7、用基于 Hadoop 架構(gòu)計(jì)算模式，突破傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)對(duì)海量數(shù)據(jù)處理的速度限制，通過(guò)對(duì)大量數(shù)據(jù)的并發(fā)訪問(wèn)和處理，極大地提高了數(shù)據(jù)處理效率。2、 基于 SOA 方式的批量處理作業(yè)調(diào)度邏輯設(shè)計(jì)，采用集中式管理、分布式、多節(jié)點(diǎn)并行運(yùn)算的設(shè)計(jì)概念，實(shí)現(xiàn)跨平臺(tái)、面向數(shù)據(jù)、高效并發(fā)調(diào)度多個(gè)海量批處理作業(yè)。3、 采用 ETL 技術(shù)，完成海量數(shù)據(jù)從源系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)再到數(shù)據(jù)集市加工、處理、集成的過(guò)程。同時(shí)，平臺(tái)支持整合主流的ETL 工具（ DataStage、 Informatica 、Sagent等）和對(duì)可執(zhí)行程序和存儲(chǔ)過(guò)程的調(diào)用。4、 采用作業(yè)調(diào)度技術(shù)，通過(guò)統(tǒng)一的操作平臺(tái)和圖形化界面，定義批量作業(yè)的調(diào)度策略

8、和調(diào)度規(guī)則，實(shí)現(xiàn)跨平臺(tái)、跨系統(tǒng)的批量作業(yè)的調(diào)度、執(zhí)行和監(jiān)控；同時(shí)，平臺(tái)通過(guò)并發(fā)控制和動(dòng)態(tài)負(fù)載均衡實(shí)現(xiàn)性能的最大優(yōu)化。5、 采用影像處理技術(shù)實(shí)現(xiàn)影像的掃描、處理、分類、上傳。影像掃描通用平臺(tái)集成了一系列對(duì)文件處理、文件掃描、影像處理、文件上傳的邏輯，通過(guò)一系列的抽象和轉(zhuǎn)化，使開(kāi)發(fā)人員可以忽略內(nèi)部細(xì)節(jié)而直接針對(duì)業(yè)務(wù)邏輯進(jìn)行設(shè)計(jì)。6、 通過(guò)工作流技術(shù)實(shí)現(xiàn)業(yè)務(wù)線上的流轉(zhuǎn)和審批，并結(jié)合電子化影像，極大地提高了工作效率。三、平臺(tái)的功能與架構(gòu)1、數(shù)據(jù)整合層通過(guò) SOA 技術(shù)、 ETL 技術(shù)、 hadoop 的 HDFS 技術(shù)、影像處理技術(shù)，高效整合來(lái)自各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，保證系統(tǒng)數(shù)據(jù)的一致性、準(zhǔn)確性和完整性

9、。數(shù)據(jù)經(jīng)過(guò)加工處理，根據(jù)數(shù)據(jù)格式和數(shù)據(jù)量，分別存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)、hadoopHBASE 、影像存 ? 教校 ?再根據(jù)主題應(yīng)用，將數(shù)據(jù)整合加工存儲(chǔ)在“應(yīng)用數(shù)據(jù)存儲(chǔ)”，為用戶提供一個(gè)統(tǒng)一的干凈的數(shù)據(jù)視圖。2、基礎(chǔ)架構(gòu)層采用 hadoop 來(lái)構(gòu)建分布式并行計(jì)算平臺(tái)，主要由MapReduce 的算法執(zhí)行和一個(gè)分布式的文件系統(tǒng)（HDFS ）兩部分組成， hadoop 在可伸縮性、健壯性、計(jì)算性能和成本上具有無(wú)可替代的優(yōu)勢(shì)。采用公司有自主知識(shí)產(chǎn)權(quán)的ETL 軟件包或整合主流的ETL 工具（ DataStage、 Informatica 、 Sagent等）來(lái)構(gòu)建數(shù)據(jù)ETL 平臺(tái)。采用 Brio 構(gòu)建數(shù)據(jù)查

10、詢、分析、統(tǒng)計(jì)報(bào)表平臺(tái)。采用 Oracle 和 hadoop HBASE 搭建數(shù)據(jù)存儲(chǔ)平臺(tái)。Oracle 采用傳統(tǒng)的方式存儲(chǔ)數(shù)據(jù)。HBase 是 Hadoop 的一個(gè)子工程， HBase 采用了 Google BigTable 的稀疏的、面向列的數(shù)據(jù)庫(kù)實(shí)現(xiàn)方式，建立在hadoop 的 hdfs 上，一方面用了hdfs 的高可靠性和可伸縮行，另外一方面用了BigTable 的高效數(shù)據(jù)組織形式，為海量數(shù)據(jù)加工處理存儲(chǔ)提供了很好的解決方案。采用 JBPM 管理并配置流程，實(shí)現(xiàn)對(duì)流程的讀取和保存操作，并推動(dòng)流程的流轉(zhuǎn)。采用 Websphere支持 WEB 應(yīng)用，用戶只需通過(guò)瀏覽器即可登錄系統(tǒng)進(jìn)行相關(guān)操

11、作，提高了易用性和可維護(hù)性。3、集成與服務(wù)層集成與服務(wù)層整合了ETL 引擎、作業(yè)調(diào)度引擎、規(guī)則引擎、影像處理引擎、工作流引擎來(lái)實(shí)現(xiàn)關(guān)鍵技術(shù)路徑，并通過(guò)組件化設(shè)計(jì)，保證了系統(tǒng)的靈活性和可擴(kuò)展性。系統(tǒng)還提供了管理監(jiān)控服務(wù)、云計(jì)算服務(wù)、數(shù)據(jù)平臺(tái)服務(wù)等。4、應(yīng)用層在數(shù)據(jù)整合層、基礎(chǔ)架構(gòu)層、集成與服務(wù)層的基礎(chǔ)上實(shí)現(xiàn)針對(duì)業(yè)務(wù)數(shù)據(jù)加工、客戶視圖、客戶關(guān)系管理、營(yíng)銷(xiāo)管理、財(cái)務(wù)分析、資產(chǎn)質(zhì)量監(jiān)控、風(fēng)險(xiǎn)預(yù)警、業(yè)務(wù)分析、統(tǒng)計(jì)報(bào)表等應(yīng)用。系統(tǒng)物理架構(gòu)如下：> 數(shù)據(jù)源：數(shù)據(jù)來(lái)源于多個(gè)業(yè)務(wù)系統(tǒng)；> ETL 服務(wù)器：多臺(tái)服務(wù)器組成集群，部署hadoopHDFS 、 datastage工具、 etl 軟件包，實(shí)現(xiàn)

12、海量數(shù)據(jù)的綜合處理；> 存儲(chǔ)服務(wù)器：多臺(tái)服務(wù)器組成集群，部署oracle 數(shù)據(jù)庫(kù)、 hadoop HBASE 來(lái)存儲(chǔ)數(shù)據(jù)，部署影像存儲(chǔ)平臺(tái)來(lái)存儲(chǔ)影像文件；> WEB應(yīng)用服務(wù)器：部署IBM Webspshere applicationServer，支持WEB應(yīng)用，部署JBPM支持工作流應(yīng)用；> 分析應(yīng)用服務(wù)器：部署 Brio 服務(wù)器，支持分析、統(tǒng)計(jì)、報(bào)表應(yīng)用；> 客戶端：客戶端采用普通 PC，客戶端瀏覽器要求IE5.5 以上；> 網(wǎng)絡(luò)：服務(wù)器、客戶端通過(guò)TCP/IP 網(wǎng)絡(luò)進(jìn)行連接。四、關(guān)鍵技術(shù)與創(chuàng)新性云計(jì)算技術(shù)：本服務(wù)平臺(tái)采用高性能的分布式云計(jì)算技術(shù)，實(shí)現(xiàn)海量文件存

13、儲(chǔ)、海量數(shù)據(jù)存儲(chǔ)和統(tǒng)一的海量數(shù)據(jù)處理編程方法和運(yùn)行環(huán)境。云計(jì)算主要基于虛擬化和分布式并行架構(gòu)兩大核心技術(shù)，虛擬化平臺(tái)將服務(wù)器虛擬為多個(gè)性能可配的虛擬機(jī)，對(duì)整個(gè)集群系統(tǒng)中所有虛擬機(jī)進(jìn)行監(jiān)控和管理，并根據(jù)實(shí)際資源使用情況對(duì)資源池靈活分配和調(diào)度。虛擬化技術(shù)不僅消除大規(guī)模異構(gòu)服務(wù)器的差異化，其形成的計(jì)算池可以具有超級(jí)的計(jì)算能力。分布式并行架構(gòu)是云計(jì)算的另一個(gè)核心技術(shù)，用于將大量的低配置機(jī)器整合為一臺(tái)高性能計(jì)算機(jī)，提供海量的數(shù)據(jù)存儲(chǔ)和處理服務(wù)。SOA 技術(shù)： 面向服務(wù)的體系結(jié)構(gòu)（service-orientedarchitecture，SOA ）是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（稱之為服務(wù)）通

14、過(guò)這些服務(wù)之間定義良好的接口聯(lián)系起來(lái)。接口是獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語(yǔ)言的。采用SOA 技術(shù)實(shí)現(xiàn)處理、運(yùn)行、監(jiān)控服務(wù)之間的松耦合，使系統(tǒng)變得更加靈活，以適應(yīng)不斷變化的業(yè)務(wù)需求和環(huán)境。ETL 技術(shù)： ETL 中三個(gè)字母分別代表的是Extract 、Transform 、Load，即抽取、轉(zhuǎn)換、加載。ETL 作為構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要環(huán)節(jié)，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等加工到臨時(shí)中間層，然后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，作為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的數(shù)據(jù)基礎(chǔ)。采用自主開(kāi)發(fā)的 ETL 工具或整合主流ETL 工具，通過(guò)周期性的刷新，為用戶

15、提供一個(gè)統(tǒng)一的干凈的數(shù)據(jù)視圖，為數(shù)據(jù)分析提供一個(gè)高質(zhì)量的數(shù)據(jù)源。作業(yè)調(diào)度技術(shù)：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市的批量作業(yè)數(shù)量很多、處理流程和作業(yè)依賴關(guān)系復(fù)雜多樣、性能低下，是ETL 處理加工遇到的常見(jiàn)問(wèn)題，系統(tǒng)采用作業(yè)調(diào)度技術(shù)，通過(guò)統(tǒng)一的操作平臺(tái)和圖形化界面，定義批量作業(yè)的調(diào)度策略和調(diào)度規(guī)則，實(shí)現(xiàn)跨平臺(tái)、跨系統(tǒng)的批量作業(yè)的調(diào)度、執(zhí)行和監(jiān)控。針對(duì)數(shù)據(jù)量巨大、源數(shù)據(jù)文件多、加工邏輯復(fù)雜的系統(tǒng)，使用作業(yè)調(diào)度技術(shù)達(dá)到簡(jiǎn)化管理復(fù)雜度，提高系統(tǒng)總體性能的目的。影像處理技術(shù)：采用我公司自有知識(shí)產(chǎn)權(quán)的影像掃描通過(guò)平臺(tái)來(lái)實(shí)現(xiàn)影像的處理及上傳。掃描影像：作為一個(gè)插件，該軟件可以在 IE 瀏覽器平臺(tái)上調(diào)用各種掃描設(shè)備掃描圖像，并

16、按照預(yù)先設(shè)定的摸板，對(duì)影像自動(dòng)存盤(pán)，并對(duì)掃描的影像進(jìn)行數(shù)據(jù)格式壓縮，確保傳輸文件的大小。影像處理：對(duì)掃描出來(lái)的影像提供了預(yù)覽的功能，支持放大、縮小查看。對(duì)影像還具有自動(dòng)去黑點(diǎn)、去黑框、自動(dòng)糾偏，以及旋轉(zhuǎn)角度等功能。影像分類：對(duì)掃描的影像文件提供分類文件夾，便于用戶按照實(shí)際的業(yè)務(wù)需求來(lái)進(jìn)行分類。文件操作：支持影像文件的一般操作，如復(fù)制、粘貼、刪除、建立文件夾等功能，并支持縮略圖的拖拉操作。影像上傳：對(duì)于指定的影像資料，在特定的目錄下，支持影像的上傳功能，由服務(wù)器進(jìn)行影像的存放及 ?稻菘飧 ? 新。在傳輸過(guò)程中嚴(yán)格保證文件傳輸?shù)臏?zhǔn)確性。工作流技術(shù)：采用基于Java 的 jBPM 作為工作流引擎，來(lái)設(shè)計(jì)、優(yōu)化、運(yùn)行并控制業(yè)務(wù)流程。 jBPM 作為工作流引擎，支持可視化流程定義、版本化部署以及日志跟蹤。系統(tǒng)充分利用 jBPM 原有特性的基礎(chǔ)上做了優(yōu)化和封裝，尤其是優(yōu)化了流程的執(zhí)行、改善流程執(zhí)行的效率、提高系統(tǒng)的并發(fā)性能。六、技術(shù)推廣與社會(huì)效益在未來(lái)的五年內(nèi)，國(guó)際金融市場(chǎng)對(duì)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析的市場(chǎng)需求將會(huì)持續(xù)增長(zhǎng)，本服務(wù)平臺(tái)開(kāi)發(fā)的數(shù)據(jù)倉(cāng)庫(kù)支撐技術(shù)將得到進(jìn)一步的升級(jí)改造。同時(shí)，進(jìn)一步推進(jìn)國(guó)內(nèi)金融信息化同行對(duì)數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的支撐技