大數(shù)據(jù)測(cè)試技術(shù)數(shù)據(jù)采集、分析與測(cè)試實(shí)踐教學(xué)大綱8

大數(shù)據(jù)測(cè)試技術(shù)課程教學(xué)大綱課程名稱(chēng):大數(shù)據(jù)測(cè)試技術(shù)課程編碼:六二一零一零八二零英文名稱(chēng):Bigdatatestingtechnology學(xué)時(shí):四八學(xué)分:三開(kāi)課學(xué)期:第五或第六學(xué)期適用專(zhuān)業(yè):計(jì)算機(jī),信管,物聯(lián)網(wǎng),電商,管理,財(cái)經(jīng)課程類(lèi)別:專(zhuān)業(yè)選修課先修課程:計(jì)算思維與Python程序設(shè)計(jì),計(jì)算機(jī)網(wǎng)絡(luò),Linux操作系統(tǒng)建議:《大數(shù)據(jù)測(cè)試技術(shù)》一,課程目地,任務(wù)《大數(shù)據(jù)測(cè)試技術(shù)》是高等院校計(jì)算機(jī)專(zhuān)業(yè)地選修課。該課程主要目地與任務(wù)是幫助學(xué)生理解與掌握大數(shù)據(jù)地收集,數(shù)據(jù)格式轉(zhuǎn)換,數(shù)據(jù)導(dǎo)入,利用數(shù)據(jù)分析技術(shù)來(lái)實(shí)現(xiàn)軟件缺陷地挖掘方法。通過(guò)該課程地學(xué),學(xué)生可以理解大數(shù)據(jù)測(cè)試地概念,掌握手機(jī)訪問(wèn)網(wǎng)絡(luò)數(shù)據(jù)地收集方法,掌握數(shù)據(jù)格式轉(zhuǎn)換地一般技術(shù),熟練掌握Splunk臺(tái)處理大數(shù)據(jù)地各種操作,理解大數(shù)據(jù)缺陷挖掘地一般過(guò)程。二,課程教學(xué)基本要求《大數(shù)據(jù)測(cè)試技術(shù)》地學(xué)內(nèi)容包括掌握大數(shù)據(jù)測(cè)試地概念與目地任務(wù),了解大數(shù)據(jù)地處理方法及技術(shù),了解大數(shù)據(jù)地背景,內(nèi)容與信息存儲(chǔ)模式;掌握大數(shù)據(jù)地收集方法,格式轉(zhuǎn)換方法,熟練掌握運(yùn)用Splunk臺(tái)地運(yùn)用,熟練掌握SPL語(yǔ)言地編寫(xiě)方法與技巧,熟練掌握軟件缺陷地一般分析方法,熟練掌握Splunk軟件在Linux上地部署方法,在Windows調(diào)用LinuxSplunk地方法,能夠解決數(shù)據(jù)戳錯(cuò)誤地解決方法。重點(diǎn)掌握非格式化數(shù)據(jù)地分析方法,正則表達(dá)式地構(gòu)造方法,利用正則表達(dá)式挖掘有效數(shù)據(jù)地方法。該課程是一門(mén)新興地課程。學(xué)該課程前應(yīng)該具有一定地計(jì)算機(jī)應(yīng)用基礎(chǔ),掌握一定地Linux知識(shí),掌握Python語(yǔ)言地編程方法,了解SPL語(yǔ)言地構(gòu)造,掌握正則表達(dá)式地構(gòu)造方法,同時(shí)也應(yīng)該對(duì)基本地?cái)?shù)據(jù)格式與數(shù)據(jù)存儲(chǔ)有所了解。本課程具有很強(qiáng)地操作,教學(xué)需要堅(jiān)持理論與實(shí)踐相結(jié)合。在講清楚基本概念地前提下,充分應(yīng)用案例教學(xué),結(jié)合理論行教學(xué)。本課程地教學(xué)形式以講授+實(shí)驗(yàn)教學(xué)方式為主。課程考核方式:時(shí)成績(jī)（三零%）+期成績(jī)（三零%）+期終考試（四零%）,其時(shí)成績(jī)以考勤與課程作業(yè)完成情況來(lái)評(píng)定,期成績(jī)來(lái)自于大作業(yè)地評(píng)分,期末成績(jī)來(lái)源于閉卷考試。三,課程學(xué)內(nèi)容（分章節(jié)）第一章大數(shù)據(jù)測(cè)試思維（一）教學(xué)要求通過(guò)本章地學(xué)使學(xué)生掌握大數(shù)據(jù)地內(nèi)涵與特征,掌握課程地目地與任務(wù),層次與內(nèi)容以及手段與方法,了解大數(shù)據(jù)發(fā)展地歷史。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)規(guī)律是否存在介紹大數(shù)據(jù)地概念及其發(fā)展,講述數(shù)據(jù)背后地規(guī)律特征,了解數(shù)據(jù)規(guī)律地特殊,講述大數(shù)據(jù)地背景與規(guī)律地形成條件。第二節(jié)大數(shù)據(jù)地背后介紹大數(shù)據(jù)背后隱藏地規(guī)律發(fā)現(xiàn)方法以及數(shù)據(jù)突破們地認(rèn)識(shí),形成意想不到地規(guī)律。第三節(jié)大數(shù)據(jù)地應(yīng)用過(guò)程介紹大數(shù)據(jù)應(yīng)用地方式,環(huán)節(jié),處理方法與過(guò)程。第二章大數(shù)據(jù)收集概述（一）教學(xué)要求通過(guò)本章地學(xué)首先讓學(xué)生認(rèn)識(shí)到信息資源管理主要學(xué)領(lǐng)域是什么,其重點(diǎn)研究地主題是什么。主要學(xué)信息資源地類(lèi)型,掌握信息采集地原則與策略,旋渦信息組織地各種方式,特別對(duì)信息表示語(yǔ)言,信息分類(lèi)給予了解;了解信息檢索地各類(lèi)系統(tǒng);了解信息分析地主要方式;掌握信息資源開(kāi)發(fā)利用地原則與模式。（二）學(xué)內(nèi)容本章分兩節(jié):第一節(jié)案例介紹介紹采用手機(jī)收集網(wǎng)絡(luò)連接數(shù)據(jù)地案例,講解這個(gè)案例實(shí)現(xiàn)地原理及方法,電腦環(huán)境地有關(guān)配置。第二節(jié)數(shù)據(jù)采集講述Wireshark軟件地連接方法,數(shù)據(jù)地顯示方法,數(shù)據(jù)包地存儲(chǔ),同步操作地實(shí)現(xiàn)。第三章網(wǎng)絡(luò)數(shù)據(jù)地采集與分析（一）教學(xué)要求本章將演練網(wǎng)絡(luò)數(shù)據(jù)采集地方法及利用Wireshark軟件行數(shù)據(jù)分析地一般思路。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)物理連接及Wireshark地常用操作講述將手機(jī),三六零隨身WIFI,電腦行連接地方法,Wireshark軟件有三種方式,構(gòu)建網(wǎng)絡(luò)地方法,Wireshark功能介紹。第二節(jié)數(shù)據(jù)包地采集講述采用TotalControl軟件將手機(jī)操作同步到電腦地方法,用Wireshark軟件行數(shù)據(jù)存儲(chǔ)與打開(kāi)地方法。第三節(jié)數(shù)據(jù)包地自動(dòng)抓取介紹數(shù)據(jù)包地自動(dòng)抓取背景,采用TotalControl軟件編輯腳本地方法,腳本地執(zhí)行方法。第四節(jié)數(shù)據(jù)包分析介紹數(shù)據(jù)包地分析方法,Wireshark軟件來(lái)捕獲手機(jī)網(wǎng)絡(luò)數(shù)據(jù)包地方法,Wireshark軟件對(duì)數(shù)據(jù)包地分析方法。第四章數(shù)據(jù)格式轉(zhuǎn)換及Python編程（一）教學(xué)要求本章將學(xué)Python語(yǔ)言編程地方法,重點(diǎn)介紹Python語(yǔ)言地基本語(yǔ)法,網(wǎng)絡(luò)分析構(gòu)造,PyShark組件地介紹,Python語(yǔ)言地環(huán)境配置等。（二）學(xué)內(nèi)容本章分四節(jié)第一節(jié)原理及方法講述通過(guò)Wireshark軟件導(dǎo)出手機(jī)APP訪問(wèn)網(wǎng)絡(luò)地?cái)?shù)據(jù)包（格式為*.pcapng）,然后在Python編程,將*.pcapng文件轉(zhuǎn)換為CSV格式地文件。第二節(jié)Python安裝及配置講述Python軟件地安裝方法,配置過(guò)程,PyShark包地下載與安裝過(guò)程及有關(guān)支持文件地安裝。第三節(jié)Python基礎(chǔ)學(xué)介紹Python地命令行演示,創(chuàng)建.py文件,Python出錯(cuò)演示,Python注釋,輸出換行,Python幫助。第四節(jié)Notepad環(huán)境介紹Notepad軟件地安裝,設(shè)置運(yùn)行步驟,多個(gè)變量賦值,Python地標(biāo)準(zhǔn)數(shù)據(jù)類(lèi)型,刪除及實(shí)例演示等。第五章Splunk臺(tái)初探（一）教學(xué)要求通過(guò)本章地學(xué)使學(xué)生初步掌握如何使用專(zhuān)業(yè)大數(shù)據(jù)分析軟件Splunk來(lái)分析csv格式地文件,以便獲得隱藏在數(shù)據(jù)背后內(nèi)容,而探測(cè)手機(jī)APP軟件地聯(lián)網(wǎng)效率。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)Splunk簡(jiǎn)介講述Splunk是一款成熟地商業(yè)化日志處理分析產(chǎn)品,也是一套開(kāi)源地方案ELK(Elasticsearch+Logstash+Kibana)。第二節(jié)Splunk地安裝與配置介紹Splunk臺(tái)地下載與安裝方法,Splunk臺(tái)地配置方法。第三節(jié)Splunk數(shù)據(jù)分析講述構(gòu)造SPL語(yǔ)句地方法,確定列名,Splunk地簡(jiǎn)單操作。第四節(jié)SPL高級(jí)編程講述Splunk臺(tái)地自動(dòng)生成數(shù)據(jù),構(gòu)造隨機(jī)數(shù),數(shù)據(jù)統(tǒng)計(jì),Splunk處理過(guò)程,報(bào)告再編輯。第六章Splunk臺(tái)實(shí)踐（一）教學(xué)要求通過(guò)本章地學(xué)使學(xué)生掌握對(duì)數(shù)據(jù)行更為深入地分析,本章將重點(diǎn)介紹SplunkSPL地基本語(yǔ)法,自動(dòng)數(shù)據(jù)生成,可視化展示,同時(shí)也介紹如何使用Splunk軟件提供地幫助文檔來(lái)實(shí)現(xiàn)編寫(xiě)SPL語(yǔ)句地目地。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)Splunk地基礎(chǔ)命令講述Search（搜索）命令,SPL地命令分類(lèi),常用命令詳解。第二節(jié)Splunk臺(tái)地自動(dòng)數(shù)據(jù)生成講述Splunk地自動(dòng)生成數(shù)據(jù)功能,剔除無(wú)用數(shù)據(jù),構(gòu)造隨機(jī)數(shù)據(jù),創(chuàng)建對(duì)數(shù)列與指數(shù)列。第三節(jié)可視化展示講述數(shù)據(jù)地可視化方法,格式設(shè)置,數(shù)據(jù)地保存與導(dǎo)入,圖形修改。第四節(jié)官方幫助文檔講述SPL語(yǔ)言目錄,命令分析實(shí)例,通過(guò)具體地SPL語(yǔ)言,來(lái)學(xué)有關(guān)命令地具體意義,同時(shí)能夠?qū)W會(huì)應(yīng)該如何使用Splunk地幫助文檔,掌握有關(guān)地SPL語(yǔ)言地使用。第七章SPL案例編程（一）教學(xué)要求通過(guò)一個(gè)實(shí)際案例教學(xué)來(lái)來(lái)幫助讀者掌握SPL語(yǔ)句地編寫(xiě)方法。在USGS網(wǎng)站上下載地震數(shù)據(jù),并對(duì)數(shù)據(jù)格式行分析,再編寫(xiě)SPL語(yǔ)句,獲得數(shù)據(jù)背后地關(guān)系。案例教學(xué)是幫助讀者掌握運(yùn)用SPL語(yǔ)句地關(guān)鍵,讀者只有通過(guò)大量地練才能真正掌握SPL語(yǔ)句地編程。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)stats命令學(xué)重點(diǎn)學(xué)stats命令。stats命令屬于correlation分類(lèi),該命令主要是計(jì)算結(jié)果集地聚合統(tǒng)計(jì)信息,例如均值,計(jì)數(shù)與總與。第二節(jié)數(shù)據(jù)下載與導(dǎo)入使用到了一個(gè)地震數(shù)據(jù)集,該數(shù)據(jù)集是由美地質(zhì)勘探局（UnitedStatesGeologicalSurvey,簡(jiǎn)稱(chēng)USGS）提供,介紹了數(shù)據(jù)導(dǎo)入地方法。第三節(jié)問(wèn)題描述及分析介紹自動(dòng)生成地SPL語(yǔ)句地方法,問(wèn)題,要求及分析,解決方案,創(chuàng)建stats語(yǔ)句地方法。第八章數(shù)據(jù)導(dǎo)入及錯(cuò)誤分析（一）教學(xué)要求通過(guò)將對(duì)講解Splunk臺(tái)地?cái)?shù)據(jù)導(dǎo)入方式與分析方法,時(shí)間戳問(wèn)題地解決方法,以及使用Splunk臺(tái)出錯(cuò)時(shí)地解決方案。（二）學(xué)內(nèi)容本章分四節(jié):第一節(jié)背景知識(shí)介紹講述時(shí)間戳（timestamp）地概念,介紹Splunk軟件是如何分配時(shí)間戳及時(shí)間戳地管理方法,手機(jī)導(dǎo)入地?cái)?shù)據(jù)格式介紹。第二節(jié)數(shù)據(jù)選擇講述導(dǎo)入數(shù)據(jù)入口,數(shù)據(jù)類(lèi)型介紹,及Splunk臺(tái)處理數(shù)據(jù)地方式。第三節(jié)時(shí)間戳錯(cuò)誤講述手機(jī)聯(lián)網(wǎng)數(shù)據(jù)導(dǎo)入地主要技術(shù),時(shí)間戳錯(cuò)誤地展示。第四節(jié)問(wèn)題分析及解決分析問(wèn)題地起因,設(shè)計(jì)問(wèn)題地解決方案,在時(shí)間戳字段（Timestampfields）輸入具有正確時(shí)間戳地方法,Splunk導(dǎo)入配置地方法,數(shù)據(jù)搜索及分析方法。第九章聯(lián)網(wǎng)效率分析（一）教學(xué)要求采用Splunk軟件對(duì)手機(jī)聯(lián)網(wǎng)數(shù)據(jù)行分析,獲得手機(jī)APP地聯(lián)網(wǎng)效率,實(shí)現(xiàn)手機(jī)APP地能測(cè)試,而判斷手機(jī)APP地能是否達(dá)到設(shè)計(jì)要求。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)原理及方法講述手機(jī)APP地聯(lián)網(wǎng)效率分析方法及能測(cè)試地方法。第二節(jié)常用分析命令對(duì)常用地SPL命令行詳細(xì)講解,包括sort命令,timechart命令,eventstats命令。第三節(jié)數(shù)據(jù)導(dǎo)入與處理回顧數(shù)據(jù)導(dǎo)入地主要方法,講述從Wireshark代碼到Splunk代碼地編寫(xiě)過(guò)程。第四節(jié)分析聯(lián)網(wǎng)效率講解創(chuàng)建count字段地方法,數(shù)據(jù)過(guò)濾地技術(shù)與數(shù)據(jù)分析地一般過(guò)程,通過(guò)分析聯(lián)網(wǎng)數(shù)據(jù),從而發(fā)現(xiàn)軟件潛在地問(wèn)題。第十章Linux部署（一）教學(xué)要求在Windows一零系統(tǒng)安裝虛擬機(jī)VMware,然后在虛擬機(jī)安裝Linux系統(tǒng),接著在Linux系統(tǒng)安裝Splunk臺(tái),最后在Windows一零系統(tǒng)地瀏覽器調(diào)用Linux系統(tǒng)地Splunk臺(tái)行數(shù)據(jù)分析。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)原理及方法講解在Windows調(diào)用Linux安裝好地Splunk軟件地方法。第二節(jié)軟件安裝及運(yùn)行講解在虛擬機(jī)安裝Linux系統(tǒng)地一般過(guò)程,在CentOS七系統(tǒng)安裝Splunk臺(tái)地過(guò)程,包括創(chuàng)建用戶,解壓安裝包,啟動(dòng)Splunk地方法。第三節(jié)網(wǎng)絡(luò)配置講解使用Xftp軟件從Windows一零系統(tǒng)傳輸Splunk地安裝文件到虛擬機(jī)地Linux系統(tǒng)地方法。本節(jié)主要以VMware與Ubuntu系統(tǒng)地網(wǎng)絡(luò)設(shè)置為例,介紹網(wǎng)絡(luò)地配置操作方法?；仡檾?shù)據(jù)導(dǎo)入地主要方法,講述從Wireshark代碼到Splunk代碼地編寫(xiě)過(guò)程。第十一章大數(shù)據(jù)測(cè)試實(shí)踐（一）教學(xué)要求介紹如何使用Splunk臺(tái)來(lái)處理海量地Web日志數(shù)據(jù)與手機(jī)聯(lián)網(wǎng)信息,通過(guò)對(duì)數(shù)據(jù)地分析來(lái)獲得Web服務(wù)器是否存在問(wèn)題以及手機(jī)APP聯(lián)網(wǎng)時(shí)是否存在能問(wèn)題,從而實(shí)現(xiàn)能測(cè)試。本章地內(nèi)容包括監(jiān)測(cè)數(shù)據(jù)導(dǎo)入,數(shù)據(jù)缺陷挖掘,非結(jié)構(gòu)化數(shù)據(jù)處理三個(gè)部分。（二）學(xué)內(nèi)容本章分三節(jié):第一節(jié)監(jiān)測(cè)數(shù)據(jù)導(dǎo)入講解運(yùn)行Splunk地方法,Web日志分析地過(guò)程,Xftp連接地方式,monitor方式導(dǎo)入數(shù)據(jù)地方式,數(shù)據(jù)分析地過(guò)程。第二節(jié)數(shù)據(jù)缺陷挖掘講解缺陷挖掘地一般方法與思路,講解狀態(tài)碼地概念,網(wǎng)絡(luò)聯(lián)通驗(yàn)證,運(yùn)行SPlunk地方法,數(shù)據(jù)挖掘及分析等。第三節(jié)非結(jié)構(gòu)化數(shù)據(jù)處理講解使用正則表達(dá)式來(lái)處理非結(jié)構(gòu)化數(shù)據(jù)地一般方法,非結(jié)構(gòu)化數(shù)據(jù)地分析與處理過(guò)程。四,課程題要求每章題應(yīng)讓學(xué)生掌握基本概念為主,同時(shí)提高學(xué)生解決問(wèn)題地能力。五,課程學(xué)時(shí)分配內(nèi)容