金融大數據平臺測評方案

1、 金融大數據平臺測評方案目錄 TOC o 1-3 h z u HYPERLINK l _Toc490674708 1測評內容 PAGEREF _Toc490674708 h 4 HYPERLINK l _Toc490674709 1.1 產品安裝及測試工具 PAGEREF _Toc490674709 h 4 HYPERLINK l _Toc490674710 1.1.1測試說明 PAGEREF _Toc490674710 h 4 HYPERLINK l _Toc490674711 1.2 數據導入測試 PAGEREF _Toc490674711 h 4 HYPERLINK l _Toc4906

2、74712 1.2.1數據準備 PAGEREF _Toc490674712 h 4 HYPERLINK l _Toc490674713 1.2.2測試說明 PAGEREF _Toc490674713 h 4 HYPERLINK l _Toc490674714 1.2.3測試流程 PAGEREF _Toc490674714 h 4 HYPERLINK l _Toc490674715 1.2.4測試結果 PAGEREF _Toc490674715 h 27 HYPERLINK l _Toc490674716 1.2.5附件 PAGEREF _Toc490674716 h 27 HYPERLINK

3、l _Toc490674717 1.3 業(yè)務測試 PAGEREF _Toc490674717 h 27 HYPERLINK l _Toc490674718 1.3.1測試說明 PAGEREF _Toc490674718 h 27 HYPERLINK l _Toc490674719 1.3.2測試案例 PAGEREF _Toc490674719 h 28 HYPERLINK l _Toc490674720 1.3.3附件 PAGEREF _Toc490674720 h 29 HYPERLINK l _Toc490674721 1.4 壓力測試 PAGEREF _Toc490674721 h 30

4、 HYPERLINK l _Toc490674722 1.4.1測試說明 PAGEREF _Toc490674722 h 30 HYPERLINK l _Toc490674723 1.5 非結構化數據導入查詢測試 PAGEREF _Toc490674723 h 31 HYPERLINK l _Toc490674724 1.5.1測試說明 PAGEREF _Toc490674724 h 31 HYPERLINK l _Toc490674725 1.5.2測試流程 PAGEREF _Toc490674725 h 31 HYPERLINK l _Toc490674726 1.5.3測試結果 PAGE

5、REF _Toc490674726 h 32 HYPERLINK l _Toc490674727 1.5.4附件 PAGEREF _Toc490674727 h 33 HYPERLINK l _Toc490674728 1.6 大數據分析測試 PAGEREF _Toc490674728 h 33 HYPERLINK l _Toc490674729 1.6.1測試說明 PAGEREF _Toc490674729 h 33 HYPERLINK l _Toc490674730 1.6.2測試案例 PAGEREF _Toc490674730 h 33 HYPERLINK l _Toc490674731

6、 1.7 支持國產操作系統(tǒng)測試 PAGEREF _Toc490674731 h 34 HYPERLINK l _Toc490674732 1.7.1測試說明 PAGEREF _Toc490674732 h 34 HYPERLINK l _Toc490674733 1.8 技術支持測試 PAGEREF _Toc490674733 h 34 HYPERLINK l _Toc490674734 1.8.1測試說明 PAGEREF _Toc490674734 h 34測評內容產品安裝及測試工具測試說明集群部署大數據平臺環(huán)境；測試平臺對集群是否有統(tǒng)一的可視化監(jiān)控頁面，可以監(jiān)控集群所有節(jié)點內存使用情況，c

7、pu使用情況等；測試平臺是否支持可視化添加節(jié)點及自動部署節(jié)點上的服務；在整個POC測試過程中，平臺是能夠穩(wěn)定運行，著重關注某個節(jié)點監(jiān)測不到心跳的情況。對于產品的性能及穩(wěn)定性測評，也可以通過公司提供的測試工具進行測試。數據導入測試數據準備選取核心系統(tǒng)作為源系統(tǒng),COBS_SVMSA表14316568條記錄,COBS_SVOCA表24333767條記錄作為數據導入測試的全量文件。測試說明廠商設計數據導入方案，根據廠商平臺情況，選擇相應的組件。根據廠商的導入方案，對COBS_SVMSA、COBS_SVOCA進行基礎數據生成根據廠商的導入方案，對COBS_SVMSA、COBS_SVOCA進行拉鏈算法對

8、現有COBS_SVMSA、COBS_SVOCA進行數據復制，用 10倍于生產的數據，重復步驟1-3。測試流程利用Hive進行基礎數據生成，導入COBS_SVOCA表數據創(chuàng)建COBS_SVOCA表結構，并按照生效日期和失效日期字段進行分區(qū)。命令如下，create table if not exists HD_COBS_SVOCA(OCCUNO string,OCSVAC string,OCSBSQ string,OCACNO string,OCITEM string,OCOPDT string,OCOPTQ string,OCCLDT string,OCCLTQ string,OCSTCD st

9、ring)partitioned by (eff_dt string,exp_dt string);刪除HD_COBS_SVOCA表原有分區(qū)。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);將測試數據導入HD_COBS_SVOCA表的一個臨時分區(qū)。在實際場景中，這組數據是最新有效數據。命令如下，load data local inpath /var/lib/hive/impala/COBS_SVOCA_999009.txt overwrite into ta

10、ble HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import);將臨時分區(qū)重命名成最新有效數據的分區(qū)。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,exp_dt=2999-

11、12-31);利用Hive對COBS_SVOCA進行拉鏈測試將測試數據導入HD_COBS_SVOCA表的一個臨時分區(qū)。在實際場景中，這組數據是最新有效數據。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);load data local inpath /var/lib/hive/impala/COBS_SVOCA_999009.txt overwrite into table HD_COBS_SVOCA partition(eff_dt=2015-12-08,

12、exp_dt=tmp_import);找到歷史數據中，和新數據對比后的失效數據，并記錄在一個新分區(qū)。命令如下，insert overwrite table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=2015-12-08) selectd.OCCUNO ,d.OCSVAC ,d.OCSBSQ ,d.OCACNO ,d.OCITEM ,d.OCOPDT ,d.OCOPTQ ,d.OCCLDT ,d.OCCLTQ ,d.OCSTCD from (selectd.OCCUNO ,d.OCSVAC ,d.OCSBSQ ,d.OCACNO ,d.OC

13、ITEM ,d.OCOPDT ,d.OCOPTQ ,d.OCCLDT ,d.OCCLTQ ,d.OCSTCDfrom HD_COBS_SVOCA d where eff_dt=2015-12-08 and exp_dt=2999-12-31) d left join (selectd.OCCUNO ,d.OCSVAC ,d.OCSBSQ ,d.OCACNO ,d.OCITEM ,d.OCOPDT ,d.OCOPTQ ,d.OCCLDT ,d.OCCLTQ ,d.OCSTCDfrom HD_COBS_SVOCA d where eff_dt=2015-12-08 and exp_dt=tmp_i

14、mport) s on d.OCCUNO=s.OCCUNO and d.OCSVAC=s.OCSVAC and d.OCSBSQ=s.OCSBSQ and d.OCACNO=s.OCACNO and d.OCITEM=s.OCITEM and d.OCOPDT=s.OCOPDT and d.OCOPTQ=s.OCOPTQ and d.OCCLDT=s.OCCLDT and d.OCCLTQ=s.OCCLTQ and d.OCSTCD=s.OCSTCDwhere s.OCSVAC is null and s.OCSBSQ is null and s.OCACNO is null;將新數據所在的臨

15、時分區(qū)重命名成有效分區(qū)。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,exp_dt=2999-12-31);利用Impala對COBS_SVOCA進行拉鏈測試將測試數據導入HD_COBS_SVOCA表的一個臨時分區(qū)。在實際場景中，這組數據

16、是最新有效數據。命令如下，alter table HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);load data local inpath /var/lib/hive/impala/COBS_SVOCA_999009.txt overwrite into table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import);找到歷史數據中，和新數據對比后的失效數據，并記錄在一張新表中。采用Impala的partition j

17、oin對查詢性能進行優(yōu)化。命令如下，insert overwrite table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=2015-12-08) selectd.OCCUNO ,d.OCSVAC ,d.OCSBSQ ,d.OCACNO ,d.OCITEM ,d.OCOPDT ,d.OCOPTQ ,d.OCCLDT ,d.OCCLTQ ,d.OCSTCD from (selectd.OCCUNO ,d.OCSVAC ,d.OCSBSQ ,d.OCACNO ,d.OCITEM ,d.OCOPDT ,d.OCOPTQ ,d.OCCLDT ,d

18、.OCCLTQ ,d.OCSTCDfrom HD_COBS_SVOCA d where eff_dt=2015-12-08 and exp_dt=2999-12-31) d left join shuffle (selectd.OCCUNO ,d.OCSVAC ,d.OCSBSQ ,d.OCACNO ,d.OCITEM ,d.OCOPDT ,d.OCOPTQ ,d.OCCLDT ,d.OCCLTQ ,d.OCSTCDfrom HD_COBS_SVOCA d where eff_dt=2015-12-08 and exp_dt=tmp_import) s on d.OCCUNO=s.OCCUNO

19、 and d.OCSVAC=s.OCSVAC and d.OCSBSQ=s.OCSBSQ and d.OCACNO=s.OCACNO and d.OCITEM=s.OCITEM and d.OCOPDT=s.OCOPDT and d.OCOPTQ=s.OCOPTQ and d.OCCLDT=s.OCCLDT and d.OCCLTQ=s.OCCLTQ and d.OCSTCD=s.OCSTCDwhere s.OCSVAC is null and s.OCSBSQ is null and s.OCACNO is null;將新數據所在的臨時分區(qū)重命名成有效分區(qū)。命令如下，alter table

20、HD_COBS_SVOCA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVOCA partition(eff_dt=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,exp_dt=2999-12-31);利用Hive進行基礎數據生成，導入COBS_SVMSA表數據創(chuàng)建COBS_SVMSA表結構，并按照生效日期和失效日期字段進行分區(qū)。命令如下，create table if not exis

21、ts HD_COBS_SVMSA(MSSBNO string,MSCYNO string,MSITCD string,MSACSQ string,MSCKBT string,MSCUNO string,MSINCN string,MSITEM string,MSBLAT string,MSLEDT string,MSLSBD string,MSLABL double,MSLIDT string,MSHOBL double,MSFZBL double,MSCTBL double,MSACBL double,MSBLDE string,MSINCM string,MSINMK string,MSI

22、NKD string,MSACIN double,MSAMBL double,MSMDIC double,MSMDAL double,MSTHFG string,MSOPDT string,MSOPUS string,MSMTDT string,MSMTUS string,MSCLDT string,MSCLUS string,MSLADT string,MSSTCD string)partitioned by (eff_dt string,exp_dt string);刪除HD_COBS_SVMSA表原有分區(qū)。命令如下，alter table HD_COBS_SVMSA drop if ex

23、ists partition(eff_dt=2015-12-08,exp_dt=tmp_import);將測試數據導入HD_COBS_SVMSA表的一個臨時分區(qū)。在實際場景中，這組數據是最新有效數據。命令如下，load data local inpath /var/lib/hive/impala/svmsa/COBS_SVMSA_999009.txt overwrite into table HD_COBS_SVMSA partition(eff_dt=2015-12-08,exp_dt=tmp_import);將臨時分區(qū)重命名成最新有效數據的分區(qū)。命令如下，alter table HD_CO

24、BS_SVMSA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVMSA partition(eff_dt=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,exp_dt=2999-12-31);利用Hive對COBS_SVMSA進行拉鏈測試將測試數據導入HD_COBS_SVMSA表的一個臨時分區(qū)。在實際場景中，這組數據是最新有效數據。命令如下，alter table HD_COBS_SVM

25、SA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);load data local inpath /var/lib/hive/impala/COBS_SVMSA_999009.txt overwrite into table HD_COBS_SVMSA partition(eff_dt=2015-12-08,exp_dt=tmp_import);找到歷史數據中，和新數據對比后的失效數據，并記錄在一個新分區(qū)。命令如下，insert overwrite table HD_COBS_SVMSA partition(eff_

26、dt=2015-12-08,exp_dt=2015-12-08) selectd.* from (select d.MSSBNO ,d.MSCYNO ,d.MSITCD ,d.MSACSQ ,d.MSCKBT ,d.MSCUNO ,d.MSINCN ,d.MSITEM ,d.MSBLAT ,d.MSLEDT ,d.MSLSBD ,d.MSLABL ,d.MSLIDT ,d.MSHOBL ,d.MSFZBL ,d.MSCTBL ,d.MSACBL ,d.MSBLDE ,d.MSINCM ,d.MSINMK ,d.MSINKD ,d.MSACIN ,d.MSAMBL ,d.MSMDIC ,d.MS

27、MDAL ,d.MSTHFG ,d.MSOPDT ,d.MSOPUS ,d.MSMTDT ,d.MSMTUS ,d.MSCLDT ,d.MSCLUS ,d.MSLADT ,d.MSSTCDfrom HD_COBS_SVMSA d where eff_dt=2015-12-08 and exp_dt=2999-12-31) d left join (selectMSSBNO ,MSCYNO ,MSITCD ,MSACSQ ,MSCKBT ,MSCUNO ,MSINCN ,MSITEM ,MSBLAT ,MSLEDT ,MSLSBD ,MSLABL ,MSLIDT ,MSHOBL ,MSFZBL

28、,MSCTBL ,MSACBL ,MSBLDE ,MSINCM ,MSINMK ,MSINKD ,MSACIN ,MSAMBL ,MSMDIC ,MSMDAL ,MSTHFG ,MSOPDT ,MSOPUS ,MSMTDT ,MSMTUS ,MSCLDT ,MSCLUS ,MSLADT ,MSSTCDfrom HD_COBS_SVMSA where eff_dt=2015-12-08 and exp_dt=tmp_import) s on d.MSSBNO=s.MSSBNO andd.MSCYNO=s.MSCYNO and d.MSITCD=s.MSITCD and d.MSACSQ=s.MS

29、ACSQ and d.MSCKBT=s.MSCKBT and d.MSCUNO=s.MSCUNO andd.MSINCN=s.MSINCN andd.MSITEM=s.MSITEM andd.MSBLAT=s.MSBLAT andd.MSLEDT=s.MSLEDT andd.MSLSBD=s.MSLSBD andd.MSLABL=s.MSLABL andd.MSLIDT=s.MSLIDT andd.MSHOBL=s.MSHOBL andd.MSFZBL=s.MSFZBL andd.MSCTBL=s.MSCTBL andd.MSACBL=s.MSACBL andd.MSBLDE=s.MSBLDE

30、 andd.MSINCM=s.MSINCM andd.MSINMK=s.MSINMK andd.MSINKD=s.MSINKD andd.MSACIN=s.MSACIN andd.MSAMBL=s.MSAMBL andd.MSMDIC=s.MSMDIC andd.MSMDAL=s.MSMDAL andd.MSTHFG=s.MSTHFG andd.MSOPDT=s.MSOPDT andd.MSOPUS=s.MSOPUS andd.MSMTDT=s.MSMTDT andd.MSMTUS=s.MSMTUS andd.MSCLDT=s.MSCLDT andd.MSCLUS=s.MSCLUS andd.

31、MSLADT=s.MSLADT andd.MSSTCD=s.MSSTCD where s.MSSBNO is null and s.MSCYNO is null and s.MSITCD is null and s.MSACSQ is null and s.MSCKBT is null ;將新數據所在的臨時分區(qū)重命名成有效分區(qū)。命令如下，alter table HD_COBS_SVMSA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVMSA partition(eff_dt

32、=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,exp_dt=2999-12-31);利用Impala對COBS_SVMSA進行拉鏈測試將測試數據導入HD_COBS_SVMSA表的一個臨時分區(qū)。在實際場景中，這組數據是最新有效數據。命令如下，alter table HD_COBS_SVMSA drop if exists partition(eff_dt=2015-12-08,exp_dt=tmp_import);load data local inpath /var/lib/hive/impala/CO

33、BS_SVMSA_999009.txt overwrite into table HD_COBS_SVMSA partition(eff_dt=2015-12-08,exp_dt=tmp_import);找到歷史數據中，和新數據對比后的失效數據，并記錄在一張新表中。采用Impala的partition join對查詢性能進行優(yōu)化。命令如下，insert overwrite table HD_COBS_SVMSA partition(eff_dt=2015-12-08,exp_dt=2015-12-08) selectd.* from (select d.MSSBNO ,d.MSCYNO ,d.

34、MSITCD ,d.MSACSQ ,d.MSCKBT ,d.MSCUNO ,d.MSINCN ,d.MSITEM ,d.MSBLAT ,d.MSLEDT ,d.MSLSBD ,d.MSLABL ,d.MSLIDT ,d.MSHOBL ,d.MSFZBL ,d.MSCTBL ,d.MSACBL ,d.MSBLDE ,d.MSINCM ,d.MSINMK ,d.MSINKD ,d.MSACIN ,d.MSAMBL ,d.MSMDIC ,d.MSMDAL ,d.MSTHFG ,d.MSOPDT ,d.MSOPUS ,d.MSMTDT ,d.MSMTUS ,d.MSCLDT ,d.MSCLUS ,d.

35、MSLADT ,d.MSSTCDfrom HD_COBS_SVMSA d where eff_dt=2015-12-08 and exp_dt=2999-12-31) d left join shuffle (selectMSSBNO ,MSCYNO ,MSITCD ,MSACSQ ,MSCKBT ,MSCUNO ,MSINCN ,MSITEM ,MSBLAT ,MSLEDT ,MSLSBD ,MSLABL ,MSLIDT ,MSHOBL ,MSFZBL ,MSCTBL ,MSACBL ,MSBLDE ,MSINCM ,MSINMK ,MSINKD ,MSACIN ,MSAMBL ,MSMDI

36、C ,MSMDAL ,MSTHFG ,MSOPDT ,MSOPUS ,MSMTDT ,MSMTUS ,MSCLDT ,MSCLUS ,MSLADT ,MSSTCDfrom HD_COBS_SVMSA where eff_dt=2015-12-08 and exp_dt=tmp_import) s on d.MSSBNO=s.MSSBNO andd.MSCYNO=s.MSCYNO and d.MSITCD=s.MSITCD and d.MSACSQ=s.MSACSQ and d.MSCKBT=s.MSCKBT and d.MSCUNO=s.MSCUNO andd.MSINCN=s.MSINCN

37、andd.MSITEM=s.MSITEM andd.MSBLAT=s.MSBLAT andd.MSLEDT=s.MSLEDT andd.MSLSBD=s.MSLSBD andd.MSLABL=s.MSLABL andd.MSLIDT=s.MSLIDT andd.MSHOBL=s.MSHOBL andd.MSFZBL=s.MSFZBL andd.MSCTBL=s.MSCTBL andd.MSACBL=s.MSACBL andd.MSBLDE=s.MSBLDE andd.MSINCM=s.MSINCM andd.MSINMK=s.MSINMK andd.MSINKD=s.MSINKD andd.M

38、SACIN=s.MSACIN andd.MSAMBL=s.MSAMBL andd.MSMDIC=s.MSMDIC andd.MSMDAL=s.MSMDAL andd.MSTHFG=s.MSTHFG andd.MSOPDT=s.MSOPDT andd.MSOPUS=s.MSOPUS andd.MSMTDT=s.MSMTDT andd.MSMTUS=s.MSMTUS andd.MSCLDT=s.MSCLDT andd.MSCLUS=s.MSCLUS andd.MSLADT=s.MSLADT andd.MSSTCD=s.MSSTCD where s.MSSBNO is null and s.MSCY

39、NO is null and s.MSITCD is null and s.MSACSQ is null and s.MSCKBT is null ;將新數據所在的臨時分區(qū)重命名成有效分區(qū)。命令如下，alter table HD_COBS_SVMSA drop if exists partition(eff_dt=2015-12-08,exp_dt=2999-12-31);alter table HD_COBS_SVMSA partition(eff_dt=2015-12-08,exp_dt=tmp_import) rename to partition(eff_dt=2015-12-08,e

40、xp_dt=2999-12-31);測試結果基于生產數據的數據生成和拉鏈的過程中，各個主要環(huán)節(jié)的性能結果如下表生產數據環(huán)節(jié)描述COBS_SVOCACOBS_SVMSAHiveImpalaHiveImpala數據生成初始導入18.36sN/A23.798sN/A拉鏈拉鏈導入19.188sN/A23.66sN/A找出失效數據并保存137.99s95.26s119.457s84.39s基于10倍生產數據生成和拉鏈的過程中，各個主要環(huán)節(jié)的性能結果如下表10倍生產數據環(huán)節(jié)描述COBS_SVOCACOBS_SVMSAHiveImpalaHiveImpala數據生成初始導入237.89sN/A230.11s

41、N/A拉鏈拉鏈導入239.971sN/A228.468sN/A找出失效數據并保存573.852sN/A777.038sN/A附件附件中包含了測試先關的全部腳本、程序以及運行日志，用戶可自行測試驗證。業(yè)務測試測試說明1、廠商根據我行的歷史數據查詢系統(tǒng)以及大數據平臺情況，設計聯(lián)機查詢改造方案，并實施落地。測試案例歷史查詢應用系統(tǒng)-有權機關查詢-個人客戶查詢-賬戶信息查詢-客戶號查詢*操作步驟*步驟描述*預期結果步驟1點擊賬戶信息查詢的單條查詢tab正常打開單條查詢頁面沒有異常步驟2選擇查詢條件為客戶號，輸入要查詢的客戶號104301126，點擊【查詢】查詢結果正確顯示步驟3查看查詢的數據和查詢所用

42、時間秒級查詢 步驟4記錄查詢結果以及所用的查詢時間記錄成功歷史查詢應用系統(tǒng)-有權機關查詢-個人客戶查詢-賬戶信息查詢-子賬號查詢*操作步驟*步驟描述*預期結果步驟1點擊賬戶信息查詢的單條查詢tab正常打開單條查詢頁面沒有異常步驟2選擇查詢條件為子賬號，輸入要查詢的子賬號0101000103280000794，點擊【查詢】查詢結果正確顯示步驟3查看查詢的數據和查詢所用時間秒級查詢 步驟4記錄查詢結果以及所用的查詢時間記錄成功歷史查詢應用系統(tǒng)-有權機關查詢-對公客戶查詢-交易對手查詢*操作步驟*步驟描述*預期結果步驟1點擊交易對手查詢正常打開單條查詢頁面沒有異常步驟2添加查詢條件，選擇按賬號查詢。點擊【查詢】查詢結果正確顯示步驟3查看查詢的數據和查詢所用時間秒級查詢 步驟4記錄查詢結果以及所用的查詢時間記錄成功附件賬戶信息查詢-客