第五章 數(shù)據(jù)處理和可視化表達（復(fù)習(xí)課件）-高一信息技術(shù)必修1粵教版

復(fù)習(xí)課件第5章

數(shù)據(jù)處理和可視化表達

高中信息技術(shù)粵教版2019

必修1大數(shù)據(jù)01數(shù)據(jù)采集02數(shù)據(jù)分析03數(shù)據(jù)可視化表達04大數(shù)據(jù)第1節(jié)大數(shù)據(jù)知識結(jié)構(gòu)第1節(jié)大數(shù)據(jù)知識點一

是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行高效捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。1、大數(shù)據(jù)的定義教材第101頁第1節(jié)大數(shù)據(jù)知識點二2、大數(shù)據(jù)的特征教材第102頁方面1：從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度①大量（Volume）：數(shù)據(jù)體量巨大②多樣（Variety）：數(shù)據(jù)類型繁多③低價值密度（Value）：價值密度低④高速（Velocity）：變化速度快第1節(jié)大數(shù)據(jù)知識點二2、大數(shù)據(jù)的特征教材第102頁方面2：從互聯(lián)網(wǎng)思維的角度①樣本漸趨于總體②精確讓位于模糊③相關(guān)性重于因果第1節(jié)大數(shù)據(jù)知識點二2、大數(shù)據(jù)的特征教材第102頁方面3：從大數(shù)據(jù)存儲與計算的角度①分布式存儲②分布式并行計算第1節(jié)大數(shù)據(jù)知識點三3、傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的對比教材第103頁傳統(tǒng)數(shù)據(jù)大數(shù)據(jù)數(shù)據(jù)量小數(shù)據(jù)體量巨大數(shù)據(jù)類型少數(shù)據(jù)類型繁多價值密度高價值密度低更新速度慢更新速度快追求數(shù)據(jù)精準性追求數(shù)據(jù)模糊性本地存儲分布式存儲第1節(jié)大數(shù)據(jù)知識點四4、大數(shù)據(jù)對日常生活的影響教材第103頁積極影響①方便支付②方便出行③方便購物與產(chǎn)品推介④方便看病與診斷病情第1節(jié)大數(shù)據(jù)知識點四4、大數(shù)據(jù)對日常生活的影響教材第103頁消極影響①個人隱私泄露②信息傷害與詐騙第1節(jié)大數(shù)據(jù)提升練習(xí)1．大數(shù)據(jù)、人工智能的迅猛發(fā)展和普及,為杭州亞運場館加入了許多數(shù)智化創(chuàng)新元素。例如電競中心運用全感知的5G數(shù)字基座,接入了設(shè)備數(shù)量超萬臺、數(shù)據(jù)類型達10萬種以上的數(shù)字駕駛艙”，可以實現(xiàn)場館的智能化管理，也可借助人行、車行設(shè)備系統(tǒng)實現(xiàn)對車輛數(shù)據(jù)、通行數(shù)據(jù)、檢票數(shù)據(jù)的流量分析及預(yù)警。下列關(guān)于大數(shù)據(jù)，說法正確的是()A.電競中心采集的大數(shù)據(jù)數(shù)據(jù)量龐大,價值密度相對較低B.數(shù)字駕駛艙內(nèi)的數(shù)據(jù)，都是機器產(chǎn)生的C.5G數(shù)字基座內(nèi)的數(shù)據(jù)產(chǎn)生速度極快,但處理速度較慢D.對通行、檢票數(shù)據(jù)等進行流量分析及預(yù)警時需追求數(shù)據(jù)的精確性【答案】A第1節(jié)大數(shù)據(jù)提升練習(xí)2.大數(shù)據(jù)的特征包括()①體大②變化快③多樣性④價值密度高A.①②③B.①③④C.②③④D.①②④【答案】A數(shù)據(jù)采集第2節(jié)數(shù)據(jù)采集知識結(jié)構(gòu)第2節(jié)數(shù)據(jù)采集知識點一1、數(shù)據(jù)采集的方法教材第104頁第1：系統(tǒng)日志采集法

在目標主機上安裝一個小程序，將目標主機的文本、應(yīng)用程序、數(shù)據(jù)庫等日志信息有選擇地定向推送到日志服務(wù)器進行存儲、監(jiān)控和管理。第2節(jié)數(shù)據(jù)采集知識點一1、數(shù)據(jù)采集的方法教材第104頁第1：系統(tǒng)日志采集法?監(jiān)視系統(tǒng)中發(fā)生的事件?檢查錯誤發(fā)生的原因?尋找受到攻擊時攻擊者留下的痕跡第2節(jié)數(shù)據(jù)采集知識點一1、數(shù)據(jù)采集的方法教材第104頁第2：網(wǎng)絡(luò)數(shù)據(jù)采集法

通過網(wǎng)絡(luò)爬蟲或者網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。第2節(jié)數(shù)據(jù)采集知識點一1、數(shù)據(jù)采集的方法教材第104頁第2：網(wǎng)絡(luò)數(shù)據(jù)采集法網(wǎng)絡(luò)爬蟲：從一個或若干個初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定停止條件。第2節(jié)數(shù)據(jù)采集知識點二2、數(shù)據(jù)采集的工具教材第104頁Python網(wǎng)絡(luò)數(shù)據(jù)采集第三方庫（1）numpy：構(gòu)建科學(xué)計算的軟件庫。（2）scipy：工程和學(xué)科軟件庫，包括線性代數(shù)、和統(tǒng)計等模塊。（3）pandas：快速簡單的數(shù)據(jù)操作、聚合和可視化呈現(xiàn)。（4）matplotlib：2D繪圖庫。第2節(jié)數(shù)據(jù)采集知識點二2、數(shù)據(jù)采集的工具教材第104頁第三方庫導(dǎo)入模塊方式第2節(jié)數(shù)據(jù)采集知識點三3、數(shù)據(jù)存儲方式教材第107-108頁（1）把數(shù)據(jù)存在本地內(nèi)部（2）把數(shù)據(jù)放在第三方公共或私有的“云端”存儲第2節(jié)數(shù)據(jù)采集知識點四4、數(shù)據(jù)的保護教材第108-109頁數(shù)據(jù)安全保護指：數(shù)據(jù)不被破壞、更改、泄露或丟失。數(shù)據(jù)安全保護技術(shù)（1）安裝殺毒軟件和防火墻（2）拷貝、備份、復(fù)制、鏡像、持續(xù)備份等技術(shù)只能防備數(shù)據(jù)安全隱患此方法更徹底、有效第2節(jié)數(shù)據(jù)采集知識點四4、數(shù)據(jù)的保護教材第108-109頁加密技術(shù)通常分為對稱式加密和非對稱式加密兩大類。（1）對稱式加密指加密和解密用的是同一個密鑰。（2）非對稱式加密指加密和解密用的是兩個不同的密鑰，必須配對使用，否則不能打開加密數(shù)據(jù)。數(shù)據(jù)安全保護技術(shù)第2節(jié)數(shù)據(jù)采集知識點四4、數(shù)據(jù)的保護教材第108-109頁

隱私泄露的問題不是大數(shù)據(jù)時代特有的，在沒有大數(shù)據(jù)的時候，我們就已經(jīng)有很多隱私泄露的問題。數(shù)據(jù)的隱私保護第2節(jié)數(shù)據(jù)采集知識點四4、數(shù)據(jù)的保護教材第108-109頁（1）技術(shù)手段①數(shù)據(jù)收集時進行數(shù)據(jù)精度處理②數(shù)據(jù)共享時進行訪問控制③數(shù)據(jù)發(fā)布時進行人工加擾④數(shù)據(jù)分析時進行數(shù)據(jù)匿名處理數(shù)據(jù)的隱私保護第2節(jié)數(shù)據(jù)采集知識點四4、數(shù)據(jù)的保護教材第108-109頁（2）提高自身的保護意識（3）對數(shù)據(jù)使用者進行道德和法律的約束數(shù)據(jù)的隱私保護第2節(jié)數(shù)據(jù)采集提升練習(xí)1．下列有關(guān)數(shù)據(jù)采集的說法,錯誤的是()A.現(xiàn)如今數(shù)據(jù)的獲取以機器獲取為主B.網(wǎng)絡(luò)爬蟲可在短時間內(nèi)獲取大量來自自然信源的數(shù)據(jù)C.日常生活中常利用傳感器獲取數(shù)據(jù)D.戶可通過應(yīng)用程序接口從互聯(lián)網(wǎng)上采集所需數(shù)據(jù)【答案】B第2節(jié)數(shù)據(jù)采集提升練習(xí)2．學(xué)校需要統(tǒng)計高中一年級新生對冬裝、夏裝校服的需求并進行訂購，下列數(shù)據(jù)采集方式不恰當?shù)氖?)A.政教處到各班級現(xiàn)場統(tǒng)計B.各班班主任班會課統(tǒng)計后匯總C.學(xué)生家長填寫學(xué)校發(fā)放的在線問卷D.咨詢其他學(xué)校【答案】D數(shù)據(jù)分析第3節(jié)數(shù)據(jù)分析知識結(jié)構(gòu)第3節(jié)數(shù)據(jù)分析知識點一

在一大批雜亂無章的數(shù)據(jù)中，運用數(shù)字化工具和技術(shù)，探索數(shù)據(jù)內(nèi)在的結(jié)構(gòu)和規(guī)律，構(gòu)建數(shù)學(xué)模型，并進行可視化表達，通過驗證將模型轉(zhuǎn)化為知識，為診斷過去、預(yù)測未來發(fā)揮作用。1、數(shù)據(jù)分析的定義教材第111頁第3節(jié)數(shù)據(jù)分析知識點二2、數(shù)據(jù)分析的組成教材第112頁（1）特征探索①對數(shù)據(jù)進行預(yù)處理②發(fā)現(xiàn)和處理缺失值、異常數(shù)據(jù)③繪制直方圖④觀察分析數(shù)據(jù)的分部特征⑤求最大值、最小值、極差等描述性統(tǒng)計量第3節(jié)數(shù)據(jù)分析知識點二2、數(shù)據(jù)分析的組成教材第113頁（2）關(guān)聯(lián)分析

分析并發(fā)現(xiàn)存在于大數(shù)據(jù)之間的關(guān)聯(lián)性或相關(guān)性，從而描述一個事物中某些屬性同時出現(xiàn)的規(guī)律和模式。

常見案例：超市某些商品捆綁促銷，新高考選修學(xué)科的選擇。第3節(jié)數(shù)據(jù)分析知識點二2、數(shù)據(jù)分析的組成教材第115頁（3）聚類分析

一種探索性分析，不必事先給出分類標準，從樣本數(shù)據(jù)出發(fā)，自動進行分類，進而達到“物以類聚，人以群分”的效果。

常見的算法：K-Means算法，自下而上的聚類分析方法。第3節(jié)數(shù)據(jù)分析知識點二2、數(shù)據(jù)分析的組成教材第115頁（4）建立模型（5）模型評價第3節(jié)數(shù)據(jù)分析知識點三3、數(shù)據(jù)分類教材第116頁

是數(shù)據(jù)分析處理中最基本的方法，基于樣本數(shù)據(jù)先訓(xùn)練構(gòu)建分類函數(shù)或者分類模型，該分類器具有將待分類數(shù)據(jù)項映射到某一特點類別的功能。

常見的數(shù)據(jù)分類技術(shù)：貝葉斯分類技術(shù)第3節(jié)數(shù)據(jù)分析知識點三3、數(shù)據(jù)分類教材第116頁（1）人物：貝葉斯，英國數(shù)學(xué)家（2）條件概率：是指事件A在另外一個事件B已經(jīng)發(fā)生條件下的發(fā)生概率，表示為P（A|B），讀作“在B的條件下A的概率”。（3）貝葉斯發(fā)現(xiàn)在事件B出現(xiàn)的前提下事件A出現(xiàn)的概率，等于事件A出現(xiàn)的前提下事件B出現(xiàn)的概率乘以事件A出現(xiàn)的概率再除以事件B出現(xiàn)的概率。貝葉斯分類技術(shù)第3節(jié)數(shù)據(jù)分析知識點三3、數(shù)據(jù)分類教材第116頁貝葉斯定理貝葉斯分類技術(shù)第3節(jié)數(shù)據(jù)分析提升練習(xí)1．以下哪個不是數(shù)據(jù)分析過程中可能遇到的問題?()A.數(shù)據(jù)缺失B.數(shù)據(jù)不一致C.數(shù)據(jù)過時D.數(shù)據(jù)過多【答案】D第3節(jié)數(shù)據(jù)分析提升練習(xí)2．數(shù)據(jù)分析的主要用途是()A.數(shù)據(jù)存儲B.數(shù)據(jù)加密C.信息提取D.數(shù)據(jù)展示【答案】C數(shù)據(jù)可視化表達第4節(jié)數(shù)據(jù)可視化表達知識結(jié)構(gòu)第4節(jié)數(shù)據(jù)可視化表達知識點一

以圖形、圖像、地圖、動畫等生動、易于理解的方式展示數(shù)據(jù)和詮釋數(shù)據(jù)之間的關(guān)系、趨勢與規(guī)律等，以便更好地理解數(shù)據(jù)。1、數(shù)據(jù)可視化的定義教材第119頁第4節(jié)數(shù)據(jù)可視化表達知識點二2、數(shù)據(jù)可視化呈現(xiàn)類型教材第119頁（1）探索類幫助人們發(fā)現(xiàn)數(shù)據(jù)背后的價值（2）解釋類簡單明了地呈現(xiàn)數(shù)據(jù)第4節(jié)數(shù)據(jù)可視化表達知識點三（1）有關(guān)趨勢的分析：分組柱形圖、堆疊柱形圖、折線圖、柱線混合圖（2）有關(guān)比例的分析：百分比圓環(huán)圖、餅圖、圈圖、堆疊面積圖（3）有關(guān)邏輯關(guān)系的分析：散點圖、雷達圖、網(wǎng)絡(luò)關(guān)系圖、詞云（4）有關(guān)空間關(guān)系的分析：數(shù)據(jù)地圖、動態(tài)熱力圖、3D動態(tài)顯示圖3、數(shù)據(jù)分析類型以及對應(yīng)的可視化呈現(xiàn)教材第119頁第4節(jié)數(shù)據(jù)可視化表達知識點四4、數(shù)據(jù)可視化表達的工具教材第120-121頁（1）Seaborm主要關(guān)注統(tǒng)計模型的可視化,基于且高度依賴Matplotib（2）Bokeh

能實現(xiàn)交互式可視化，獨立于Matplotib,能通過瀏覽器與數(shù)據(jù)驅(qū)動文檔的風(fēng)格呈現(xiàn)。第4節(jié)數(shù)據(jù)可視化表達提升練習(xí)1．在Excel中，若要直觀的呈現(xiàn)全校