課程思政范例：網(wǎng)絡(luò)爬蟲

湖南大學(xué)《計(jì)算與人工智能概論》課程教學(xué)設(shè)計(jì)與實(shí)施案例課程名稱授課班級授課教師羅娟、李小英等職稱教授課程類型必修課學(xué)時1學(xué)時授課題目(章、節(jié))第10章網(wǎng)絡(luò)思維第2節(jié)網(wǎng)絡(luò)爬蟲與信息提取教學(xué)目的和要求1.掌握網(wǎng)絡(luò)爬蟲的基本用法，了解Requests庫請求函數(shù)，掌握Response對象的屬性，掌握爬取網(wǎng)頁的通用框架，了解網(wǎng)絡(luò)爬蟲引發(fā)的問題；2.掌握網(wǎng)絡(luò)信息的提取方法；3.掌握基本的信息保存方法。1.通過百度搜索引擎原理案例分析，學(xué)生能夠了解爬蟲的原理。2.通過學(xué)校官網(wǎng)首頁爬取，學(xué)生能運(yùn)用爬蟲requests庫通用框架爬取網(wǎng)頁。3.通過組圖爬取、湖南大學(xué)2020年各省各批次錄取分?jǐn)?shù)、岳麓書院講壇學(xué)術(shù)講座信息多網(wǎng)頁爬取案例分析，學(xué)生能夠掌握爬蟲用爬取的方法，及用bs4庫對網(wǎng)頁進(jìn)行解析的方法。4.通過保存獲取的組圖、表格和講座信息數(shù)據(jù)，學(xué)生能夠掌握保存網(wǎng)絡(luò)爬蟲獲取的數(shù)據(jù)的方法。通過對淘寶和京東網(wǎng)站的robots協(xié)議分析，引起學(xué)生對網(wǎng)絡(luò)爬蟲合法性的關(guān)注。通過介紹全國首例“爬蟲技術(shù)”犯罪案增強(qiáng)學(xué)生法律意識和職業(yè)道德操作。通過校園風(fēng)景組圖爬取，高考錄取分?jǐn)?shù)爬取、講座信息爬取激發(fā)學(xué)生愛校之情及努力學(xué)習(xí)的熱情。教學(xué)重點(diǎn)：掌握爬取網(wǎng)頁與信息提取的基本方法?！窘虒W(xué)設(shè)計(jì)】2.以湖大公眾號組圖爬取、湖南大學(xué)2020年各省各批次錄取分?jǐn)?shù)、岳麓書院講壇學(xué)術(shù)講座信息爬取為案例，通過學(xué)習(xí)學(xué)生能掌握獲取網(wǎng)頁的方法和提取網(wǎng)頁信息的方法。教學(xué)難點(diǎn)：掌握用html.parser進(jìn)行網(wǎng)頁內(nèi)容解析，及思政融入策略?！窘鉀Q辦法】1.結(jié)合開發(fā)者工具及查看網(wǎng)頁源代碼方法，講解分析網(wǎng)頁結(jié)構(gòu)。2.對于用html.parser解析得到的標(biāo)簽樹，邊講解邊在python環(huán)境中演示以幫助學(xué)生理解。3.講解爬蟲使用注意事項(xiàng)，以全國首例爬蟲技術(shù)侵入計(jì)算機(jī)系統(tǒng)犯罪案為例，警示使用爬蟲要合法，用好網(wǎng)絡(luò)資源，不做違法的事情，增強(qiáng)學(xué)生法律意識和職業(yè)道德操守。4.以大家熟悉的校園風(fēng)景、高考招生分?jǐn)?shù)及學(xué)術(shù)講座信息為例進(jìn)行講解，激發(fā)學(xué)習(xí)興趣和家國情懷。學(xué)情分析教學(xué)對象：大一學(xué)生，面向全校非計(jì)算機(jī)專業(yè)。知識技能：學(xué)生已經(jīng)學(xué)習(xí)了運(yùn)用計(jì)算思維分析問題的方法，學(xué)習(xí)了Python語言程序設(shè)計(jì)，在此基礎(chǔ)上，編寫爬蟲程序，運(yùn)用爬蟲實(shí)現(xiàn)問題的求解。教材及教學(xué)《大學(xué)計(jì)算機(jī)基礎(chǔ)(第3版)》第二章第3節(jié)內(nèi)容可以作為課程學(xué)習(xí)的參考，在課堂教學(xué)中按照網(wǎng)絡(luò)爬蟲應(yīng)用的兩個步驟→使用Requests庫爬取網(wǎng)頁→使用bs4庫對網(wǎng)頁進(jìn)行解析提取信息的知識主線與實(shí)踐主線雙線進(jìn)行內(nèi)容安排，圍繞重點(diǎn)難點(diǎn)問題進(jìn)行案例融入，具體編排如下：互動課程導(dǎo)入→搜索引擎如何獲取網(wǎng)絡(luò)信息→使用Requests庫爬取網(wǎng)頁→知識點(diǎn)：Requests庫的請求函數(shù)，對象屬性、異?！廊【W(wǎng)頁的通用框架→演示案例1(《紅星題→課堂練習(xí)案例(表格數(shù)據(jù)爬取)切入→知識點(diǎn)：網(wǎng)頁解析方法、標(biāo)簽及標(biāo)簽屬性、標(biāo)簽樹、find()和find_all()→演示案例2(組圖爬取、表格數(shù)據(jù)、岳麓書院講壇信1.線上慕課與線下課程混合：課前預(yù)習(xí)，學(xué)生在educoder平臺上完成預(yù)習(xí)練習(xí)。2.多媒體與板書相結(jié)合：以課堂講授為主，通過多媒體的使用，將形象直觀的圖片、動畫與板書有機(jī)結(jié)合，強(qiáng)調(diào)重點(diǎn)、講清楚難點(diǎn)。3.強(qiáng)調(diào)互動式教學(xué)：在課堂導(dǎo)入、小練習(xí)、案例分析等教學(xué)過程中引導(dǎo)學(xué)生互動問答和討論，加強(qiáng)師生和生生互動，增強(qiáng)學(xué)生的主動性和課堂參與度，培養(yǎng)邏輯思維能力。4.案例教學(xué)任務(wù)驅(qū)動教學(xué)法：選取圖書網(wǎng)頁，湖大公眾號圖片，湖大2020年各省各批次錄取分?jǐn)?shù)線，岳麓書院講壇信息提取作為課堂演示或練習(xí)案例。5.啟發(fā)性邏輯推理式教學(xué)：采用“提出問題-分析討論問題-提出解決方案”的方式引導(dǎo)學(xué)生思考程序的編寫思路，將思政元素有效融入方案設(shè)計(jì)，通過分析、比較、現(xiàn)場練習(xí)等方式加強(qiáng)理解。6.智慧教學(xué)工具進(jìn)行課堂管理：使用Educoder平臺對課堂進(jìn)行課堂簽到、問卷調(diào)查、資源推送，課件分享。課前在平臺上傳課堂案例數(shù)據(jù)及模板程序，要求學(xué)生先行下載，做好上課準(zhǔn)備。利用智慧教室投屏分析學(xué)生練習(xí)情況及做針對性問題分析。7.課后線上練習(xí)：與Educoder實(shí)訓(xùn)平臺進(jìn)行實(shí)訓(xùn)環(huán)節(jié)、作業(yè)、課堂小測的配套管理。課后運(yùn)用慕課擴(kuò)展學(xué)生的視野，豐富和擴(kuò)充相關(guān)知識。媒體技術(shù)及教學(xué)設(shè)計(jì)要授課條理清晰，主次分明，對要點(diǎn)進(jìn)行板書；圍繞教學(xué)重點(diǎn)，結(jié)合多媒體技術(shù)進(jìn)行素材案例的立體化融入；合理運(yùn)用Educoder在線平臺對課堂進(jìn)行管理。各項(xiàng)活動的安排也注重互動、交流，最大限度的調(diào)動學(xué)生參與課堂的積極性、主動性。教學(xué)內(nèi)容設(shè)計(jì)意圖師生互動問答(2分鐘):互動課程導(dǎo)入→百度是如何獲取網(wǎng)上的信息資源?→引出爬蟲原理師：查詢信息經(jīng)常用到哪些方法?生：搜索引擎……師：百度是如何獲取網(wǎng)上的信息資源?師：Python中如何編程實(shí)現(xiàn)網(wǎng)頁爬取?開始通過互動問答，從生活中的簡單案例出發(fā)，引發(fā)思考爬蟲網(wǎng)頁獲取信息提取確定要爬取的網(wǎng)頁URL向服務(wù)器發(fā)送URL請求返回響應(yīng)的網(wǎng)頁解析網(wǎng)頁，提取需要的信息建立爬取URL列表Fabe列表中有URL嗎?frue從列表中取個UR保存數(shù)據(jù)到文件數(shù)據(jù)存儲巴有用的數(shù)據(jù)保存起來便于日后使用和分析向服務(wù)器請求URL,得到網(wǎng)頁結(jié)來解析網(wǎng)頁提取信息【知識點(diǎn)】1、網(wǎng)絡(luò)爬蟲(18分鐘)案例：爬取湖南大學(xué)官網(wǎng)。Requests庫的使用→爬取網(wǎng)頁的通用框架常(1)Requests庫的安裝、官網(wǎng)地址常(2)Requests庫的網(wǎng)頁請求函數(shù)邊講解邊操作給學(xué)生直觀感學(xué)生一起動手驗(yàn)證字典的基本操作(3)Response對象的屬性(4)Requests庫的異常 爬取網(wǎng)頁的通用框架importrequestsdefgetHTMLText(url)爬取網(wǎng)頁的通用框架importrequestsdefgetHTMLText(url)r=requests.get(url,timeout=30)r=requests.get(url,timeout=30)r.raise_for_status()r.encoding='utf-8'returnr.text#返回字符串形式網(wǎng)頁utf-8/gbk/ISO-8859-1網(wǎng)頁編碼t.text用于獲取網(wǎng)頁文本t.content用于獲取圖片、音頻等 retun'產(chǎn)生異常 retun'產(chǎn)生異常if_name_=='_main_:print(getHTMLText(url))信電科學(xué)與工程學(xué)院季小英是：當(dāng).py文件被直接運(yùn)行時，if_name_=='main'之下的代碼塊將被運(yùn)行；當(dāng).py文件以模塊形式被導(dǎo)入時，if_name_==_main_"之下的代碼塊不被運(yùn)行思政融入：以大家熟悉的學(xué)校官網(wǎng)為例，激發(fā)學(xué)習(xí)興趣。案例演練【課堂練習(xí)】(20分鐘)學(xué)生思考完成課堂案例→提高知識內(nèi)化效率/12093815html京東學(xué)思具華夏萬卷新空樣子海政內(nèi)力里得營家書首頁紅星照耀中國(又譯《西行漫記》)(暢銷900萬冊青少版人民文學(xué)出版社)趣樂山耗時三年苦心籍澤，歷史專家嚴(yán)槽市核，人文社團(tuán)隊(duì)播心漏校!同步有聲書簽[則]埃澳址斯道著,董樂山保促的結(jié)息|滿減梅滿100元，可減50元現(xiàn)金詳情>》名自營中小學(xué)教輔的是榜第47位配送至泥響長沙市花輔區(qū)城區(qū)有貨☆虎東精流次日達(dá)提的溪戰(zhàn)送境上門√由京東發(fā)損，并握供能后服務(wù).23:00前下單，預(yù)計(jì)明天(12月19日)送達(dá)服務(wù)變持放心購閃退款自營每滿100￥50(PM?5DN你好，請登錄免腳注冊被東強(qiáng)大別思政融入：讀了解黨的發(fā)展歷史的書→建設(shè)美好祖國的責(zé)任感思政融入：了解我國燦爛文化→保護(hù)歷史建筑、保護(hù)國寶文物【知識點(diǎn)】2、網(wǎng)絡(luò)爬蟲引發(fā)的問題(5分鐘)(1)爬蟲引發(fā)的問題：介紹全國首例“爬蟲”技術(shù)侵入計(jì)算機(jī)系統(tǒng)犯罪案(2)網(wǎng)絡(luò)爬蟲限制(3)Robots排除協(xié)議：以京東的Robots協(xié)議為例思政融入：網(wǎng)絡(luò)爬蟲引發(fā)的問題→Robots協(xié)議→職業(yè)道德教育?！局R點(diǎn)】3、網(wǎng)頁信息提取(15分鐘)(1)BeautifulSoup4庫的使用→網(wǎng)頁解析→標(biāo)簽及屬性→DOM樹→find_all()和find()標(biāo)簽查找→開發(fā)者工具的基本使用(2)信息保存為文件的方法案例演示課堂案例演練(20分鐘)(1)案例：組圖爬取。(2)案例：湖南大學(xué)2020年各省各批次錄取分?jǐn)?shù)信息提取。(3)案例：岳麓書院講壇信息提取思政融入：校園風(fēng)景圖→培養(yǎng)愛校的情懷，高考錄取分?jǐn)?shù)→成績?nèi)〉貌灰选ぐl(fā)熱愛學(xué)習(xí)的動力，岳麓書院講壇信息提取→開拓視野有方法學(xué)生思考完成課堂案例→提高知識內(nèi)化效率(組圖】湖大是什么腰色?開始(組圖】湖大是什么腰色?分析網(wǎng)頁結(jié)構(gòu)，查找元素對應(yīng)采用requests庫能取網(wǎng)頁內(nèi)容使用beautihhup4庫解析網(wǎng)貞立保存圖片的文件夾根據(jù)每張圖片URL底取每張圖片并以相應(yīng)文件名保存結(jié)束低點(diǎn)科學(xué)與工程學(xué)院季小類65千★快速訪問OneDrive此電腦3D對象視頻基圖丹4下載本地磁盤(C:)新加卷(D:)新加卷(E:)網(wǎng)16個項(xiàng)目P黑亡算ipC干禁0灰jpg牙白p9g石TlPC驚理灰，pg F爬取2019年“岳麓書院講壇”講座信息，存儲到數(shù)據(jù)文件中首頁URL爬取2019年“岳麓書院講壇”講座信息，存儲到數(shù)據(jù)文件中首頁URL/xysh/xshd/ylsyit.htm第2頁URL/xysh/xshd/ylsyjt/19.htm網(wǎng)址前面部分頁面號最后一頁URL網(wǎng)址前面部分+'1.htm'信息科學(xué)與工程學(xué)院李小英79爬取2020年湖南大學(xué)各省各批次分?jǐn)?shù)線，存儲到數(shù)據(jù)文件中。url='/info/1150/4679.htm'信息科學(xué)與工程學(xué)院李小英信息科學(xué)與工程學(xué)院李小英課堂演練課堂案例演練(5分鐘)案例：天氣信息提取。小結(jié)和交流(4分鐘)采用采用requests庫爬取網(wǎng)頁內(nèi)容使用beautifulsoup4庫分析網(wǎng)頁中數(shù)據(jù)提取相關(guān)數(shù)據(jù)，存儲到二維列表中采用用戶偏好的方式打印出來結(jié)，總結(jié)爬蟲用法和信息提取方法2.信息提??；布置課后編程練習(xí)作業(yè)(1分鐘)“減負(fù)”的目的。我布置的課堂作業(yè)是：完成課后作業(yè)鞏固識；預(yù)習(xí)下次課的內(nèi)容實(shí)訓(xùn)作業(yè)1_python基礎(chǔ)2.計(jì)算系統(tǒng)思維3.鮮法思維4.網(wǎng)絡(luò)思維5數(shù)據(jù)思維全部未發(fā)布提交中補(bǔ)交中已截止共3個實(shí)訓(xùn)作業(yè)已發(fā)布：3個未發(fā)布：0個已選擇0個(不變排滿頁勾遇第五章HTML網(wǎng)頁文件基礎(chǔ)a已截止李小英已開始做題1