高中信息技術(shù) 必修1 數(shù)據(jù)的采集 課件

1、教材版本:粵教版必修一數(shù)據(jù)與計(jì)算授課年級(jí):高一課程名稱:數(shù)據(jù)的采集授課教師:侯波所在單位:深圳市寶安中學(xué)（集團(tuán)）高中部深圳市中小學(xué)在線教學(xué)托底課程5.2 數(shù)據(jù)的采集必修一 數(shù)據(jù)與計(jì)算侯波深圳市寶安中學(xué)（集團(tuán)）學(xué)習(xí)資源包請預(yù)先下載第五章知識(shí)回顧：第一章常見的數(shù)據(jù)類型有哪些？這數(shù)據(jù)類型用什么設(shè)備可以獲??？文本，圖片，音頻，視頻等鍵盤，數(shù)碼相機(jī)，麥克風(fēng)，數(shù)碼DV等高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集1、明確數(shù)據(jù)應(yīng)用項(xiàng)目的需求，能制定數(shù)據(jù)采集的需求清單；2、知道數(shù)據(jù)采集的方法和工具；1、了解數(shù)據(jù)采集的基本方法。學(xué)業(yè)要求學(xué)習(xí)目標(biāo)高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集1PART ON

2、E什么是數(shù)據(jù)采集什么是數(shù)據(jù)采集 數(shù)據(jù)采集是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。（百度百科） 數(shù)據(jù)采集是指根據(jù)需求采用適當(dāng)?shù)姆椒ê凸ぞ攉@取所需要的數(shù)據(jù)。（課本描述）1 數(shù)據(jù)采集是目前一個(gè)重要的研究領(lǐng)域，有大量書籍和研究文獻(xiàn)供我們學(xué)習(xí)。2 對(duì)于我們而言，從數(shù)據(jù)采集的過程、數(shù)據(jù)采集的方法和工具，來理解數(shù)據(jù)采集。3數(shù)據(jù)編碼數(shù)據(jù)編碼、現(xiàn)有數(shù)據(jù)獲取高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集體驗(yàn)數(shù)據(jù)采集 需要獲取什么數(shù)據(jù)？經(jīng)緯度去哪兒找經(jīng)緯度？手機(jī)APP手機(jī)APP為什么能獲取經(jīng)緯度？ GPS定位傳感器動(dòng)手：下載手機(jī)APP，獲取經(jīng)緯度。安裝時(shí)注意，要允許APP獲取“位置信息”權(quán)限

3、。高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集如何記錄當(dāng)前自己的精確位置？體驗(yàn)數(shù)據(jù)采集高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集如何記錄當(dāng)前自己的精確位置？2PART TWO數(shù)據(jù)采集的過程數(shù)據(jù)采集的過程明確數(shù)據(jù)應(yīng)用的需求圍繞項(xiàng)目主題，制定數(shù)據(jù)采集的需求清單和內(nèi)容大綱。第1步選擇適當(dāng)?shù)姆椒ê凸ぞ哚槍?duì)不同數(shù)據(jù)類型，選擇適當(dāng)?shù)墓ぞ?，運(yùn)用有效的方法，進(jìn)行數(shù)據(jù)采集。第2步數(shù)據(jù)的存儲(chǔ)和保護(hù)采集的數(shù)據(jù)要選擇合適的存儲(chǔ)方式并注意數(shù)據(jù)安全，為數(shù)據(jù)分析和可視化表達(dá)做準(zhǔn)備。第3步經(jīng)緯度手機(jī)APP+GPS傳感器記錄經(jīng)緯度高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集確定項(xiàng)目的數(shù)據(jù)需求 淘寶購物平臺(tái)上各種商

4、品應(yīng)有盡有，假如你在該平臺(tái)開了一個(gè)零食網(wǎng)店，最近你要調(diào)整經(jīng)營策略，以提高網(wǎng)店的盈利水平。 在調(diào)整經(jīng)營策略之前你必須進(jìn)行前期調(diào)研分析，比如通過分析淘寶網(wǎng)上各類零食的銷量數(shù)據(jù)，去重新定位銷售商品的種類和價(jià)格；通過分析網(wǎng)店銷售數(shù)據(jù)訂單，去了解客戶的購物喜好，去判斷哪些商品可以捆綁銷售。從而下架一些銷量不好商品和上架一些新的商品。 那么，你要完成前期調(diào)研工作，需要獲取到哪些數(shù)據(jù)呢？完成下表中第2，3列。編號(hào)項(xiàng)目數(shù)據(jù)內(nèi)容大綱數(shù)據(jù)來源采集方法和工具數(shù)據(jù)保存方式123各類零食銷售數(shù)據(jù)：包括商品名稱、店鋪名稱、商品價(jià)格、商品銷量淘寶網(wǎng)-零食類別客戶購物喜好數(shù)據(jù)：包括商品價(jià)格、商品銷量、商品評(píng)論店鋪銷售訂單數(shù)據(jù)

5、：包括每個(gè)訂單購買的商品名稱、數(shù)量淘寶網(wǎng)-零食類別淘寶網(wǎng)店鋪后臺(tái)高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集3PART THREE數(shù)據(jù)采集的方法和工具數(shù)據(jù)采集的方法傳感器采集法利用數(shù)據(jù)采集設(shè)備，檢測、采集物理信息，并將其轉(zhuǎn)換為電信號(hào)形式表示的一種采集方法。1高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集數(shù)據(jù)采集的方法傳感器采集法利用數(shù)據(jù)采集設(shè)備，檢測、采集物理信息，并將其轉(zhuǎn)換為電信號(hào)形式表示的一種采集方法。1系統(tǒng)日志采集法利用系統(tǒng)中記錄硬件、軟件和系統(tǒng)問題的信息文件來采集數(shù)據(jù)。有操作系統(tǒng)日志、應(yīng)用程序日志、安全日志等。如：通過Web日志，獲取網(wǎng)站點(diǎn)擊率。2高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5

6、.2 數(shù)據(jù)的采集網(wǎng)絡(luò)數(shù)據(jù)采集法通過網(wǎng)絡(luò)爬蟲或網(wǎng)站API（應(yīng)用程序接口）等方式從網(wǎng)站上獲取數(shù)據(jù)信息。3網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)數(shù)據(jù)采集的工具網(wǎng)絡(luò)爬蟲1、又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。通常分為通用爬蟲和聚焦爬蟲。高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集網(wǎng)絡(luò)數(shù)據(jù)采集的工具網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲，它將爬取對(duì)象從一些種子 URL擴(kuò)充到整個(gè)Web上的網(wǎng)站，主要用途是為門戶站點(diǎn)、搜索引擎和大型Web服務(wù)提供商采集數(shù)據(jù)。通用爬蟲用戶檢索爬蟲爬取高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集網(wǎng)絡(luò)數(shù)據(jù)采集的工具網(wǎng)絡(luò)

7、爬蟲又稱全網(wǎng)爬蟲，它將爬取對(duì)象從一些種子 URL擴(kuò)充到整個(gè)Web上的網(wǎng)站，主要用途是為門戶站點(diǎn)、搜索引擎和大型Web服務(wù)提供商采集數(shù)據(jù)。通用爬蟲高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集網(wǎng)絡(luò)數(shù)據(jù)采集的工具網(wǎng)絡(luò)爬蟲又稱主題網(wǎng)絡(luò)爬蟲，是指選擇性地爬取那些與預(yù)先定義好的主題相關(guān)的頁面的網(wǎng)絡(luò)爬蟲。聚焦爬蟲網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)數(shù)據(jù)采集的工具網(wǎng)絡(luò)爬蟲1、又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。2、網(wǎng)頁：是一個(gè)包含HTML標(biāo)簽的純文本文件。3、用戶瀏覽網(wǎng)頁：瀏覽器提交請求-下載網(wǎng)頁代碼-解析/渲染成頁面。4、爬蟲程序：模擬瀏覽器發(fā)送請求-下載網(wǎng)頁代碼-只提取有用的

8、數(shù)據(jù)-存放于數(shù)據(jù)庫或文件中。5、Robots協(xié)議：用來告知爬蟲哪些頁面能被抓取，哪些頁面不能被抓取。以此為爬蟲使用規(guī)范。高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集爬蟲程序?qū)嵺`搭建“網(wǎng)絡(luò)商城”網(wǎng)站：安裝、并運(yùn)行XAMPP，啟動(dòng)Apache、MySQL；將文件“wholesale.html”復(fù)制到C:xampphtdocs目錄下。安裝Python擴(kuò)展庫：通過pip安裝bs4、requests、xlwt、datetime等庫。瀏覽抓取的數(shù)據(jù)：打開名如“nike*.xls”的excel文件。網(wǎng)站測試：瀏覽器輸入/ wholesale.html ,訪問網(wǎng)站，嘗試查看網(wǎng)頁源碼。運(yùn)行Python ID

9、LE調(diào)試：打開“程序5-3-2 爬取程序（教材范例）.py”,閱讀關(guān)鍵代碼，調(diào)試運(yùn)行。12345高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集第1步、第3步可下載微課學(xué)習(xí)爬蟲程序?qū)嵺`高中信息技術(shù)必修1 數(shù)據(jù)與計(jì)算5.2 數(shù)據(jù)的采集動(dòng)手調(diào)試： 調(diào)試時(shí)，記錄爬蟲程序的關(guān)鍵語句，并說明作用，完成學(xué)習(xí)資源包中的記錄表。思考： 如果將剛才爬蟲程序中的” url = /wholesale.html ”,改成其它網(wǎng)絡(luò)商城網(wǎng)址，能直接爬取數(shù)據(jù)嗎？確定采集方法和工具 淘寶購物平臺(tái)上各種商品應(yīng)有盡有，假如你在該平臺(tái)開了一個(gè)零食網(wǎng)店，最近你要調(diào)整經(jīng)營策略，以提高網(wǎng)店的盈利水平。 在調(diào)整經(jīng)營策略之前你必須進(jìn)行前期調(diào)研分析，比如通過分析淘寶網(wǎng)上各類零食的銷量數(shù)據(jù)，去重新定位銷售商品的種類和價(jià)格；通過分析網(wǎng)店銷售數(shù)據(jù)訂單，去了解客戶的購物喜好，去判斷哪些商品可以捆綁銷售。從而下架一些銷量不好商品和上架一些新的商品。 確定數(shù)據(jù)需求清單后，對(duì)比各種采集方法和工具，選擇哪種更合適呢？編號(hào)項(xiàng)目數(shù)據(jù)內(nèi)容大綱數(shù)據(jù)來源采集方法和工具數(shù)據(jù)保存方式123各類零食銷售數(shù)據(jù)：包括商品名稱、店鋪名稱、商品價(jià)格、商品銷量淘寶網(wǎng)-零食類別客戶購物喜好數(shù)據(jù)：包括商品價(jià)格、商品銷量、商品評(píng)論店鋪銷售訂單數(shù)據(jù)：包