電商大數(shù)據(jù)分析項目測試報告

電商大數(shù)據(jù)分析項目測試報告XX科技股份有限公司編制

目錄1. 系統(tǒng)功能測試概述 31.1. 測試方法和步驟 31.2. 測試部署及環(huán)境 32. 性能測試報告 52.1. 測試目標 52.2. 測試內容 52.3. 測試環(huán)境 52.4. 測試過程和結果 8

系統(tǒng)功能測試概述系統(tǒng)測試為了監(jiān)測系統(tǒng)開發(fā)完成之后的功能指標、性能指標、以及系統(tǒng)缺陷檢驗它是否有不符合系統(tǒng)說明書的地方。這種測試可以發(fā)現(xiàn)系統(tǒng)分析和設計中的錯誤。如安全測試是測試安全措施是否完善，能不能保證系統(tǒng)不受非法侵入。再例如，壓力測試是測試系統(tǒng)在正常數(shù)據(jù)量以及超負荷量(如多個電商同時存取)等情況下是否還能正常地工作。測試方法和步驟表1男女裝季度銷售記錄測試方法表測試項編號X001測試項名稱男女裝季度銷售記錄查詢測試方法和步驟序號測試操作預期結果備注01輸入季度查詢展示與季度時間相關的男女裝銷售信息表2男裝占比測試方法表測試項編號X002測試項名稱男裝占比測試方法和步驟序號測試操作預期結果備注01輸入男裝褲子查詢展示與男裝褲子銷售相關的統(tǒng)計分析數(shù)據(jù)測試部署及環(huán)境測試數(shù)據(jù)準備XX電商數(shù)據(jù)電商記錄數(shù)據(jù)測試結果測試數(shù)據(jù)表6男女裝季度銷售記錄測試結果表測試項編號X001測試項名稱男女裝季度銷售記錄查詢測試時間2020-09-23測試人員XXX測試地點測試方法和步驟序號測試操作預期結果實際結果備注01輸入季度時間查詢展示與服裝相關的季度銷售信息頁面顯示與服裝相關的季度銷售報表測試人員（簽字）：XXX表7男裝占比測試結果表測試項編號X002測試項名稱男裝占比測試時間2020-09-23測試人員XXX測試地點測試方法和步驟序號測試操作預期結果實際結果備注01輸入男裝服裝類型褲子展示與褲子相關的統(tǒng)計分析數(shù)據(jù)展示與褲子相關的統(tǒng)計分析數(shù)據(jù)測試人員（簽字）：XXX性能測試報告測試目標以電商大數(shù)據(jù)系統(tǒng)為例，日均訪問記錄數(shù)近萬條，每月數(shù)據(jù)量近1TB，移動互聯(lián)網(wǎng)電商快速增加，智能終端迅速普及、戶均流量顯著增長，記錄數(shù)據(jù)將進一步猛增，每6個月，流量翻一番，如此大的數(shù)據(jù)量已經超越了傳統(tǒng)關系型數(shù)據(jù)庫可管理的容量上限，關系型數(shù)據(jù)庫上對大規(guī)模數(shù)據(jù)進行操作會造成系統(tǒng)性能嚴重下降。通過本測試，驗證電商大數(shù)據(jù)平臺，是否可以有效解決數(shù)據(jù)采集、加載、存儲、查詢、分析等問題。測試內容1）存儲節(jié)點數(shù)和存儲量驗證；2）并發(fā)加載數(shù)據(jù)的效率驗證；3）分別選取簡單查詢（電商數(shù)據(jù)查詢），單表統(tǒng)計（電商詳細信息查詢），大表關聯(lián)統(tǒng)計（統(tǒng)計指定星級電商的電商記錄）三個應用場景驗證產品性能。測試環(huán)境軟硬件環(huán)境配置如下：表11服務器配置服務器推薦配置及說明節(jié)點數(shù)量5臺服務器CPU兩路6核處理器2*E5-2620內存64GBECCDDR3硬盤2個600G的SAS硬盤，15000RPM，RAID1，作為系統(tǒng)盤12個2TB的SATA硬盤，7200RPM，不做RAID1網(wǎng)絡雙電口萬兆（10Gbps）以太網(wǎng)卡部署環(huán)境如下：表12集群配置PC服務器5臺NameNode節(jié)點2臺DataNode節(jié)點5臺Zookeeper節(jié)點3臺集群監(jiān)控節(jié)點1臺入庫服務節(jié)點5臺Web查詢應用服務節(jié)點1臺網(wǎng)絡拓撲情況如下：圖1拓撲結構圖測試過程和結果1）現(xiàn)有HDFS集群已被占用10.5TB，3個副本，壓縮率在1/3左右，因此實際HBase表數(shù)據(jù)也已經有3.5TB左右。目前數(shù)據(jù)存放6個月，每天導入日志數(shù)據(jù)在21GB左右，每月導入新增日志數(shù)據(jù)量為630GB，近一個月為常用熱數(shù)據(jù)，數(shù)據(jù)量增長較快。2）并發(fā)加載數(shù)據(jù)的效率電商大數(shù)據(jù)集群每秒平均達到150萬記錄/秒，峰值時達到500萬/秒，集群導入性能沒有問題。3）支持并發(fā)查詢數(shù)目：遠高于1000請求/秒上網(wǎng)記錄查詢速度：不高于1秒（含電商訪問查詢頁面的時間）場景一：電商數(shù)據(jù)查詢表13XX電商記錄表測試相關表數(shù)據(jù)量表名條數(shù)tb_proportion_of_mens_wear31144測試語句SELECT*FROMtb_proportion_of_mens_wearWHERENAME=?;場景說明使用程序查詢指定姓名的電商記錄SQL性能并發(fā):5000單SQL平均執(zhí)行時間:12msAPI性能并發(fā)：>30W單SQL平均執(zhí)行時間：3ms場景二：電商詳細信息查詢：表14電商詳細信息表測試相關表數(shù)據(jù)量表名條數(shù)tb_mens_and_womens_quarterly_sales33346測試語句SELECTVIP_GRADE,COUNT(VIP_GRADE)FROMtb_mens_and_womens_quarte