大數(shù)據(jù)測(cè)試方法與工具梳理

1、大數(shù)據(jù)測(cè)試方法和工具梳理1什么是大數(shù)據(jù)大數(shù)據(jù)是一個(gè)大的數(shù)據(jù)集合，通過(guò)傳統(tǒng)的計(jì)算技術(shù)無(wú)法進(jìn)行 處理。這些數(shù)據(jù)集的測(cè)試需要使用各種工具、技術(shù)和框架進(jìn)行處理。 大數(shù)據(jù)涉及數(shù)據(jù)創(chuàng)建、存儲(chǔ)、檢索、分析，而且它在數(shù)量、多樣性、 速度方法都很出色。2大數(shù)據(jù)測(cè)試類型測(cè)試大數(shù)據(jù)應(yīng)用程序更多的是驗(yàn)證其數(shù)據(jù)處理，而不是測(cè)試軟件產(chǎn)品的個(gè)別功能。當(dāng)涉及到大數(shù)據(jù)測(cè)試時(shí)，性能和功能測(cè)試是關(guān)鍵。在大數(shù)據(jù)測(cè)試中，QA工程師使用集群和其他組件來(lái)驗(yàn)證對(duì) TB級(jí) 數(shù)據(jù)的成功處理。因?yàn)樘幚矸浅？?，所以它需要高水平的測(cè)試技能。 處理可以是三種類型：批量、實(shí)時(shí)、交互。與此同時(shí)，數(shù)據(jù)質(zhì)量也是大數(shù)據(jù)測(cè)試的一個(gè)重要因素。 在測(cè)試應(yīng) 用程序之前，

2、有必要檢查數(shù)據(jù)的質(zhì)量，并將其視為數(shù)據(jù)庫(kù)測(cè)試的一部 分。它涉及檢查各種字段，如一致性，準(zhǔn)確性，重復(fù)，一致性，有效 性，數(shù)據(jù)完整性等。3大數(shù)據(jù)測(cè)試實(shí)現(xiàn)被分成三個(gè)步3.1步驟1:數(shù)據(jù)分段驗(yàn)證大數(shù)據(jù)測(cè)試的第一步，也稱為 pre-Hadoop階段涉及過(guò)程驗(yàn)證。.來(lái)自各種來(lái)源（如RDBMS博客，社交媒體等）的數(shù)據(jù)應(yīng)進(jìn)行 驗(yàn)證，以確保正確的數(shù)據(jù)被拉入系統(tǒng)將源數(shù)據(jù)與推送到Hadoop系統(tǒng)中的數(shù)據(jù)進(jìn)行比較，以確保它們 匹配.驗(yàn)證正確的數(shù)據(jù)被提取并加載到正確的 HDFS位置該階段可以使用工具Tale nd或Datameer，進(jìn)行數(shù)據(jù)階段驗(yàn)證。3.2 步驟 2: “MapReduce驗(yàn)證大數(shù)據(jù)測(cè)試的第二步是 Map

3、Reduc啲驗(yàn)證。在這個(gè)階段，測(cè)試者 在每個(gè)節(jié)點(diǎn)上進(jìn)行業(yè)務(wù)邏輯驗(yàn)證，然后在運(yùn)行多個(gè)節(jié)點(diǎn)后驗(yàn)證它們， 確保如下操作的正確性：Map Reduce進(jìn)程正常工作-在數(shù)據(jù)上實(shí)現(xiàn)數(shù)據(jù)聚合或隔離規(guī)則.生成鍵值對(duì)*在Map Reduce進(jìn)程后驗(yàn)證數(shù)據(jù)3.3步驟3:輸出驗(yàn)證階段大數(shù)據(jù)測(cè)試的最后或第三階段是輸出驗(yàn)證過(guò)程。 生成輸出數(shù)據(jù)文 件，同時(shí)把文件移到一個(gè) EDV（ En terprise Data Warehouse: 企業(yè)數(shù) 據(jù)倉(cāng)庫(kù)）中或著把文件移動(dòng)到任何其他基于需求的系統(tǒng)中。 在第三階 段的活動(dòng)包括：檢查轉(zhuǎn)換（Transformation） 規(guī)則被正確應(yīng)用檢查數(shù)據(jù)完整性和成功的數(shù)據(jù)加載到目標(biāo)系統(tǒng)中*通

4、過(guò)將目標(biāo)數(shù)據(jù)與HDFS件系統(tǒng)數(shù)據(jù)進(jìn)行比較來(lái)檢查沒(méi)有數(shù)據(jù)損壞4架構(gòu)測(cè)試Hadoop處理非常大量的數(shù)據(jù)，并且資源密集。因此，架構(gòu)測(cè)試對(duì)于確保大數(shù)據(jù)項(xiàng)目的成功至關(guān)重要。系統(tǒng)設(shè)計(jì)不當(dāng)或設(shè)計(jì)不當(dāng)可能 導(dǎo)致性能下降，系統(tǒng)可能無(wú)法滿足要求。至少，性能和故障轉(zhuǎn)移 測(cè)試 服務(wù)應(yīng)在Hadoop環(huán)境中完成。性能測(cè)試包括測(cè)試作業(yè)完成時(shí)間，內(nèi)存利用率，數(shù)據(jù)吞吐量和類似的系統(tǒng)指標(biāo)。雖然故障轉(zhuǎn)移測(cè)試服務(wù)的動(dòng)機(jī)是驗(yàn)證數(shù)據(jù)處理在數(shù)據(jù)節(jié)點(diǎn)故障的情況下無(wú)縫地發(fā)生5性能測(cè)試大數(shù)據(jù)的性能測(cè)試包括兩個(gè)主要方面：.數(shù)據(jù)獲取和吞吐量：在這個(gè)階段，測(cè)試人員驗(yàn)證快速系統(tǒng)如何 使用來(lái)自各種數(shù)據(jù)源的數(shù)據(jù)。測(cè)試涉及識(shí)別隊(duì)列在給定時(shí)間幀 中可以處理的不

5、同消息。它還包括如何快速地將數(shù)據(jù)插入到底 層數(shù)據(jù)存儲(chǔ)中，例如插入到 Mongo和Cassandra數(shù)據(jù)庫(kù)中。*數(shù)據(jù)處理：它涉及驗(yàn)證執(zhí)行查詢或mapreduce作業(yè)的速度。它 還包括底層數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)集中填充時(shí)隔離測(cè)試數(shù)據(jù)的過(guò)程。例如，在底層HDFSk運(yùn)行Map Reduce作業(yè).子組件性能：這些系統(tǒng)由多個(gè)組件組成，必須單獨(dú)測(cè)試這些組 件。例如，消息被索引和使用的速度，mapreduce作業(yè)，查詢性能，搜索等。5.1性能測(cè)試方法大數(shù)據(jù)應(yīng)用程序的性能測(cè)試涉及大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的 測(cè)試，它需要一種特定的測(cè)試方法來(lái)測(cè)試這樣的大量數(shù)據(jù)。性能測(cè)試按此順序執(zhí)行1. 對(duì)要性能測(cè)試的大數(shù)據(jù)集群的進(jìn)行設(shè)置2

6、. 識(shí)別和設(shè)計(jì)相應(yīng)的工作負(fù)載3. 準(zhǔn)備單個(gè)客戶端（創(chuàng)建自定義腳本）4. 執(zhí)行測(cè)試并分析結(jié)果（如果不滿足目標(biāo)，則調(diào)整組件并重新執(zhí) 行）5. 最佳配置5.2性能測(cè)試的參數(shù)要驗(yàn)證性能測(cè)試的各種參數(shù)是數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)如何存儲(chǔ)在不同的節(jié)點(diǎn)中*提交日志：提交日志允許增長(zhǎng)的大小*并發(fā)性：有多少線程可以執(zhí)行寫(xiě)和讀操作-緩存：調(diào)整緩存設(shè)置“行緩存”和“密鑰緩存”。-超時(shí)：連接超時(shí)，查詢超時(shí)等的值。 JVM參數(shù)：堆大小，GC收集算法等.降低性能：排序，合并等消息隊(duì)列：消息速率，大小等6測(cè)試環(huán)境需求測(cè)試環(huán)境需求取決于要測(cè)試的應(yīng)用程序的類型。 對(duì)于大數(shù)據(jù)測(cè)試,測(cè)試環(huán)境應(yīng)包括它應(yīng)該有足夠的空間用于存儲(chǔ)和處理大量的數(shù)據(jù).它

7、應(yīng)該具有分布式節(jié)點(diǎn)和數(shù)據(jù)的集群-它應(yīng)該具有最小的CPU和內(nèi)存利用率，以保持高性能7大數(shù)據(jù)測(cè)試和傳統(tǒng)數(shù)據(jù)庫(kù)測(cè)試屬性傳統(tǒng)數(shù)據(jù)庫(kù)測(cè)試大數(shù)據(jù)測(cè)試同時(shí)處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化據(jù)測(cè)試方法定義明確和加砂 tested測(cè)試方;蠕要集中的硏發(fā)工件測(cè)試人員可以選犀自動(dòng)化工 貝手咖庁抽樣策略前完 仝撿證策略大數(shù)據(jù)中抄抽樣叢略是一城基礎(chǔ)它不需要特殊的測(cè)試環(huán)境,E 設(shè)施為文件大小有限它嵩要特殊的式環(huán)境因?yàn)榇蟮臄?shù)據(jù)大小和 文件（HDFS）SSi正 繃式礙吏用基于&陰的宏 工具或基于UI的曰動(dòng)化沒(méi)有矩義的丄具f范圍從廠泛從翔呈丄具f如MapReduce 到HIV曰2L測(cè)試工具可以使用基本的操作它需要7且特走的技能和培即極件

8、測(cè)試工 良 此外,丄貝處捋生價(jià)鈦加址也許會(huì)帯 桶概能.8大數(shù)據(jù)場(chǎng)景中使用的工具軸據(jù)大!SJS工具NoSQLGouchDB j MongoDB f Cassandra # Redis , ZooKeeper, HbaseMapReduceHadoopHive r Pig f Cascading r Oozie f Kafka f S4 , MapR , FlumeS3 , HDFS （也dm盼布越件至統(tǒng)）瞬器Elastic * Heroku r Google App Engine f EC2處理R F Yahoo ! Pipes f Mechanical Turk f BigShects f D

9、atairccr8.1針對(duì)大數(shù)據(jù)單個(gè)組件測(cè)試工具GridMix針對(duì)Hadoop集群的測(cè)試基準(zhǔn)，它具備評(píng)測(cè)大規(guī)模數(shù)據(jù) 處理系統(tǒng)所需的各個(gè)功能模塊，包括：產(chǎn)生數(shù)據(jù)，生成并提交作業(yè)， 統(tǒng)計(jì)作業(yè)完成時(shí)間等。TeraSort針對(duì)文本數(shù)據(jù)的排序。1TB排序通常用于衡量分布式數(shù) 據(jù)處理框架的數(shù)據(jù)處理能力。Terasort是hadoop中的的一個(gè)排序作 業(yè)，在2008年，Hadoop在1TB排序基準(zhǔn)評(píng)估中贏得第一名，耗時(shí)209 秒。YCSB是 Yahoo開(kāi)發(fā)的一個(gè)專門(mén)用來(lái)對(duì)新一代數(shù)據(jù)庫(kù)進(jìn)行基準(zhǔn)測(cè) 試的工具。全名是 Yahoo! Cloud Serving Benchmark。他們開(kāi)發(fā)這 個(gè)工具的目的是希望有一

10、個(gè)標(biāo)準(zhǔn)的工具用來(lái)衡量不同數(shù)據(jù)庫(kù)的性能。 Y CSB故了很多優(yōu)化來(lái)提高客戶端性能，例如在數(shù)據(jù)類型上用了最原 始的比特?cái)?shù)組以減少數(shù)據(jù)對(duì)象本身創(chuàng)建轉(zhuǎn)換所需的時(shí)間等。Filebe nch是一款文件系統(tǒng)性能的自動(dòng)化測(cè)試工具，它通過(guò)快速模擬真實(shí)應(yīng)用服務(wù)器的負(fù)載來(lái)測(cè)試文件系統(tǒng)的性能。它不僅可以仿真 文件系統(tǒng)微操作（女口 copyfiles ， createfiles ， randomread， randomwrite ），而且可以仿真復(fù)雜的應(yīng)用程序（如 varmail ， fileserver ， oltp ， dss， webserver ， webproxy ）。 Filebench 比較適合用來(lái)測(cè)試文

11、件服務(wù)器性能，但同時(shí)也是一款負(fù)載自動(dòng)生成工 具，也可用于文件系統(tǒng)的性能。8.2綜合類測(cè)試工具，覆蓋大數(shù)據(jù)平臺(tái)多個(gè)功能組件Hibench是用來(lái)在速度方面評(píng)估不同的大數(shù)據(jù)框架的，它包括一 系列的 Hadoop Spark, streaming 工作負(fù)載，包括 sort ,wordcount， TeraSort, Sleep, SQL, PageRank, Nutch indexing, Bayes, Kmeans, NWeight and enhanced DFSIO,等。同樣也為 park Streaming, Flink, Storm and Gearpump提供工作負(fù)載。BigDataBen

12、ch是中科院計(jì)算所提出的大數(shù)據(jù)測(cè)試工具，覆蓋了 結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，其負(fù)載模擬了搜索引擎、社交 網(wǎng)絡(luò)和電子商務(wù)等業(yè)務(wù)模型。8.3具體應(yīng)用領(lǐng)域端到端大數(shù)據(jù)測(cè)試工具BigBench是基于TPC-DS開(kāi)發(fā)的端到端測(cè)試工具，面向零售業(yè)務(wù)， 模擬電子商務(wù)的整個(gè)流程，主要測(cè)試 MapReduce和并行DBMS9大數(shù)據(jù)測(cè)試中的挑戰(zhàn)9.1自動(dòng)化大數(shù)據(jù)的自動(dòng)化測(cè)試需要有技術(shù)專長(zhǎng)的人員。此外，自動(dòng)化工具不能處理測(cè)試期間出現(xiàn)的意外問(wèn)題9.2虛擬化它是測(cè)試的必需階段之一。虛擬機(jī)延遲會(huì)在實(shí)時(shí)大數(shù)據(jù)測(cè)試中產(chǎn) 生時(shí)序問(wèn)題。還有在大數(shù)據(jù)中管理圖像是一個(gè)麻煩。9.3大數(shù)據(jù)集.需要驗(yàn)證更多的數(shù)據(jù)，需要做的更快需要自動(dòng)化測(cè)試工作需要能夠跨不同平臺(tái)進(jìn)行測(cè)試9.4性能測(cè)試的挑戰(zhàn)多樣化的技術(shù)：每個(gè)子組件屬于不