《Python程序設(shè)計(jì)》課件 第10章 Python大數(shù)據(jù)實(shí)戰(zhàn)

TEACHER

TAUGHTPython

大數(shù)據(jù)實(shí)戰(zhàn)時(shí)間：2024.8.19主講人：裴昭義目錄Catalogue學(xué)習(xí)內(nèi)容技能目標(biāo)任務(wù)一：爬取京東上華為手機(jī)的信息并保存任務(wù)二：基于pytorch的物體識(shí)別總結(jié)第

10

章

Python

大數(shù)據(jù)實(shí)戰(zhàn)01獲取網(wǎng)頁(yè)內(nèi)容工具02網(wǎng)頁(yè)內(nèi)容分析工具03如何根據(jù)網(wǎng)頁(yè)內(nèi)容提取需要內(nèi)容04生成

Excel

文件requests

庫(kù)requests

是

Python

中一個(gè)簡(jiǎn)單易用的

HTTP

庫(kù)，用于發(fā)送各種

HTTP

請(qǐng)求，如

GET、POST、PUT、DELETE

等。它支持多種請(qǐng)求方法，并提供豐富的

API，方便用戶進(jìn)行網(wǎng)絡(luò)請(qǐng)求和響應(yīng)處理。selenium

庫(kù):

selenium

是一個(gè)用于自動(dòng)化

Web

應(yīng)用程序測(cè)試的工具庫(kù)，支持多種瀏覽器和編程語(yǔ)言。它提供了一套用于與瀏覽器交互的

API，允許執(zhí)行如打開(kāi)網(wǎng)頁(yè)、輸入文本、點(diǎn)擊按鈕等操作，非常適合進(jìn)行自動(dòng)化測(cè)試、爬蟲(chóng)開(kāi)發(fā)等任務(wù)。openpyxl

庫(kù)openpyxl

是一個(gè)用于讀取和寫(xiě)入

Excel

2010

xlsx/xlsm/xltx/xltm

文件的庫(kù)。它提供了豐富的接口，可以方便地創(chuàng)建、編輯和保存

Excel

文件，包括操作工作表、讀寫(xiě)單元格、設(shè)置格式、合并和拆分單元格等。標(biāo)簽定位通過(guò)標(biāo)簽名、類名、ID

等屬性定位網(wǎng)頁(yè)中的元素，例如使用

soup.find_all('p')

查找所有

p

標(biāo)簽。屬性提取:

獲取標(biāo)簽的屬性值，例如使用

link['href']

獲取

a

標(biāo)簽的

href

屬性值。文本提取:

獲取標(biāo)簽內(nèi)的文本內(nèi)容，例如使用

first_paragraph.text

獲取

p

標(biāo)簽內(nèi)的文本內(nèi)容。CSS

選擇器:

使用

CSS

選擇器定位網(wǎng)頁(yè)中的元素，例如使用

soup.select("div.myClass")

查找所有

class

為

myClass

的

div

標(biāo)簽。bs4

庫(kù)bs4

是一個(gè)用于分析

HTML

和

XML

文檔的庫(kù)，它提供了一個(gè)簡(jiǎn)單易用的接口，方便用戶提取網(wǎng)頁(yè)中的信息。bs4

庫(kù)的核心是

BeautifulSoup

類，它可以將

HTML

或

XML

文檔解析成一個(gè)樹(shù)形結(jié)構(gòu)，并提供多種方法用于查找、遍歷和修改文檔中的元素。學(xué)習(xí)內(nèi)容能夠使用torchvision的datasets模塊

加載常見(jiàn)的數(shù)據(jù)集，如

CIFAR10、MNIST

等。能夠使用

torchvision的transforms

對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和增強(qiáng)。能夠使用

bs4

庫(kù)分析

HTML

文檔，提取網(wǎng)頁(yè)中的信息。能夠根據(jù)網(wǎng)頁(yè)結(jié)構(gòu)設(shè)計(jì)合適的爬蟲(chóng)程序，提取所需數(shù)據(jù)。能夠使用

selenium

庫(kù)控制瀏覽器進(jìn)行自動(dòng)化操作。能夠使用

selenium

庫(kù)進(jìn)行

Web

應(yīng)用程序測(cè)試。能夠使用

pytorch

定義、訓(xùn)練和測(cè)試深度學(xué)習(xí)模型。能夠使用

pytorch

進(jìn)行圖像識(shí)別、自然語(yǔ)言處理等任務(wù)。能夠使用

requests

庫(kù)發(fā)送各種

HTTP

請(qǐng)求，并處理響應(yīng)內(nèi)容。能夠使用

requests

庫(kù)進(jìn)行網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)，獲取網(wǎng)頁(yè)數(shù)據(jù)。能夠理解裝飾器的概念和作用。能夠使用裝飾器修飾函數(shù)，增加額外的功能。能夠使用

openpyxl

庫(kù)創(chuàng)建、編輯和保存

Excel

文件。能夠使用

openpyxl

庫(kù)進(jìn)行數(shù)據(jù)分析、報(bào)表生成等任務(wù)。能夠使用

torchvision.utils.make_grid

將圖像組合成網(wǎng)格形式。能夠使用

matplotlib.pyplot.imshow

顯示圖像。掌握

requests

功能包的用法掌握

selenium

功能包的用法分析并提取網(wǎng)站內(nèi)容的方法掌握

openpyxl

的用法掌握

Python

裝飾器的使用方法掌握

pytorch

的用法掌握

torchvision

載入訓(xùn)練數(shù)據(jù)的方法數(shù)據(jù)可視化的方法技能目標(biāo)利用

Python

爬取京東上華為手機(jī)的信息，包括商品名稱、價(jià)格、評(píng)論數(shù)、商家和鏈接等。將爬取到的信息保存到

Excel

文件中。任務(wù)描述安裝

anaconda：anaconda

是一個(gè)開(kāi)源的

Python

發(fā)行版本，包含

conda、Python

等多個(gè)科學(xué)包及其依賴項(xiàng)，方便用戶進(jìn)行科學(xué)計(jì)算和數(shù)據(jù)分析。requests

庫(kù)的使用:

使用

requests

庫(kù)發(fā)送

HTTP

請(qǐng)求，獲取網(wǎng)頁(yè)內(nèi)容。bs4

庫(kù)的使用:

使用

bs4

庫(kù)分析

HTML

文檔，提取網(wǎng)頁(yè)中的信息。openpyxl

庫(kù)的用法:

使用

openpyxl

庫(kù)創(chuàng)建、編輯和保存

Excel

文件。Python

裝飾器:

使用裝飾器修飾函數(shù)，記錄函數(shù)運(yùn)行時(shí)間。相關(guān)知識(shí)使用

selenium

庫(kù)啟動(dòng)瀏覽器，打開(kāi)京東網(wǎng)站。使用

selenium

庫(kù)定位并輸入賬號(hào)、密碼，登錄網(wǎng)站。使用

selenium

庫(kù)獲取網(wǎng)頁(yè)源代碼。使用

bs4

庫(kù)分析

HTML

文檔，提取華為手機(jī)信息。使用

openpyxl

庫(kù)創(chuàng)建

Excel

文件，并將提取到的信息保存到

Excel

文件中。任務(wù)實(shí)現(xiàn)思考如何遞歸地返回多個(gè)頁(yè)面的手機(jī)信息。嘗試使用其他爬蟲(chóng)框架，如

Scrapy，進(jìn)行爬蟲(chóng)開(kāi)發(fā)。任務(wù)擴(kuò)展任務(wù)一：爬取京東上華為手機(jī)的信息并保存利用

pytorch

和

torchvision

等工具包實(shí)現(xiàn)一個(gè)簡(jiǎn)單的圖像識(shí)別程序。使用卷積神經(jīng)網(wǎng)絡(luò)

(CNN)

進(jìn)行圖像特征提取和分類。任務(wù)描述01卷積神經(jīng)網(wǎng)絡(luò)

(CNN)CNN

是一種深度學(xué)習(xí)模型，廣泛應(yīng)用于圖像識(shí)別、視頻分析等領(lǐng)域。它通過(guò)模擬人類視覺(jué)系統(tǒng)的機(jī)制來(lái)識(shí)別圖像中的模式，如邊緣、顏色和形狀等。torchvision.datasets是PyTorch中的一個(gè)模塊，提供了加載和處理常見(jiàn)數(shù)據(jù)集的方法。這個(gè)模塊支持多種標(biāo)準(zhǔn)數(shù)據(jù)集，如CIFAR10,MNIST,ImageNet,COCO等。使用這些數(shù)據(jù)集可以方便地進(jìn)行模型訓(xùn)練和測(cè)試。相關(guān)知識(shí)02使用torchvision的datasets

加載

CIFAR10

數(shù)據(jù)集。使用

pytorch

定義一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型。使用

pytorch

訓(xùn)練和測(cè)試模型。matplotlib.pyplot.imshow

顯示圖像。任務(wù)實(shí)現(xiàn)03嘗試使用其他數(shù)據(jù)集進(jìn)行圖像識(shí)別任務(wù)。嘗試使用其他類型的神經(jīng)網(wǎng)絡(luò)模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)

(RNN)。嘗試使用其他優(yōu)化算法，如

Adam、RMSprop

等。嘗試使用數(shù)據(jù)增強(qiáng)技術(shù)，提高模型的泛化能力。任務(wù)擴(kuò)展04任務(wù)二：基于

pytorch

的圖像識(shí)別01本章介紹了

Python

大數(shù)據(jù)實(shí)戰(zhàn)的相關(guān)知識(shí)，包括獲取網(wǎng)頁(yè)內(nèi)容工具、網(wǎng)頁(yè)內(nèi)容分析工具、生成

Excel

文件、Python

裝飾器、深度學(xué)習(xí)的基本概念、pyt