課程思政范例：網絡爬蟲

湖南大學《計算與人工智能概論》課程教學設計與實施案例課程名稱授課班級授課教師羅娟、李小英等職稱教授課程類型必修課學時1學時授課題目(章、節(jié))第10章網絡思維第2節(jié)網絡爬蟲與信息提取教學目的和要求1.掌握網絡爬蟲的基本用法，了解Requests庫請求函數(shù)，掌握Response對象的屬性，掌握爬取網頁的通用框架，了解網絡爬蟲引發(fā)的問題；2.掌握網絡信息的提取方法；3.掌握基本的信息保存方法。1.通過百度搜索引擎原理案例分析，學生能夠了解爬蟲的原理。2.通過學校官網首頁爬取，學生能運用爬蟲requests庫通用框架爬取網頁。3.通過組圖爬取、湖南大學2020年各省各批次錄取分數(shù)、岳麓書院講壇學術講座信息多網頁爬取案例分析，學生能夠掌握爬蟲用爬取的方法，及用bs4庫對網頁進行解析的方法。4.通過保存獲取的組圖、表格和講座信息數(shù)據(jù)，學生能夠掌握保存網絡爬蟲獲取的數(shù)據(jù)的方法。通過對淘寶和京東網站的robots協(xié)議分析，引起學生對網絡爬蟲合法性的關注。通過介紹全國首例“爬蟲技術”犯罪案增強學生法律意識和職業(yè)道德操作。通過校園風景組圖爬取，高考錄取分數(shù)爬取、講座信息爬取激發(fā)學生愛校之情及努力學習的熱情。教學重點：掌握爬取網頁與信息提取的基本方法?！窘虒W設計】2.以湖大公眾號組圖爬取、湖南大學2020年各省各批次錄取分數(shù)、岳麓書院講壇學術講座信息爬取為案例，通過學習學生能掌握獲取網頁的方法和提取網頁信息的方法。教學難點：掌握用html.parser進行網頁內容解析，及思政融入策略。【解決辦法】1.結合開發(fā)者工具及查看網頁源代碼方法，講解分析網頁結構。2.對于用html.parser解析得到的標簽樹，邊講解邊在python環(huán)境中演示以幫助學生理解。3.講解爬蟲使用注意事項，以全國首例爬蟲技術侵入計算機系統(tǒng)犯罪案為例，警示使用爬蟲要合法，用好網絡資源，不做違法的事情，增強學生法律意識和職業(yè)道德操守。4.以大家熟悉的校園風景、高考招生分數(shù)及學術講座信息為例進行講解，激發(fā)學習興趣和家國情懷。學情分析教學對象：大一學生，面向全校非計算機專業(yè)。知識技能：學生已經學習了運用計算思維分析問題的方法，學習了Python語言程序設計，在此基礎上，編寫爬蟲程序，運用爬蟲實現(xiàn)問題的求解。教材及教學《大學計算機基礎(第3版)》第二章第3節(jié)內容可以作為課程學習的參考，在課堂教學中按照網絡爬蟲應用的兩個步驟→使用Requests庫爬取網頁→使用bs4庫對網頁進行解析提取信息的知識主線與實踐主線雙線進行內容安排，圍繞重點難點問題進行案例融入，具體編排如下：互動課程導入→搜索引擎如何獲取網絡信息→使用Requests庫爬取網頁→知識點：Requests庫的請求函數(shù)，對象屬性、異?！廊【W頁的通用框架→演示案例1(《紅星題→課堂練習案例(表格數(shù)據(jù)爬取)切入→知識點：網頁解析方法、標簽及標簽屬性、標簽樹、find()和find_all()→演示案例2(組圖爬取、表格數(shù)據(jù)、岳麓書院講壇信1.線上慕課與線下課程混合：課前預習，學生在educoder平臺上完成預習練習。2.多媒體與板書相結合：以課堂講授為主，通過多媒體的使用，將形象直觀的圖片、動畫與板書有機結合，強調重點、講清楚難點。3.強調互動式教學：在課堂導入、小練習、案例分析等教學過程中引導學生互動問答和討論，加強師生和生生互動，增強學生的主動性和課堂參與度，培養(yǎng)邏輯思維能力。4.案例教學任務驅動教學法：選取圖書網頁，湖大公眾號圖片，湖大2020年各省各批次錄取分數(shù)線，岳麓書院講壇信息提取作為課堂演示或練習案例。5.啟發(fā)性邏輯推理式教學：采用“提出問題-分析討論問題-提出解決方案”的方式引導學生思考程序的編寫思路，將思政元素有效融入方案設計，通過分析、比較、現(xiàn)場練習等方式加強理解。6.智慧教學工具進行課堂管理：使用Educoder平臺對課堂進行課堂簽到、問卷調查、資源推送，課件分享。課前在平臺上傳課堂案例數(shù)據(jù)及模板程序，要求學生先行下載，做好上課準備。利用智慧教室投屏分析學生練習情況及做針對性問題分析。7.課后線上練習：與Educoder實訓平臺進行實訓環(huán)節(jié)、作業(yè)、課堂小測的配套管理。課后運用慕課擴展學生的視野，豐富和擴充相關知識。媒體技術及教學設計要授課條理清晰，主次分明，對要點進行板書；圍繞教學重點，結合多媒體技術進行素材案例的立體化融入；合理運用Educoder在線平臺對課堂進行管理。各項活動的安排也注重互動、交流，最大限度的調動學生參與課堂的積極性、主動性。教學內容設計意圖師生互動問答(2分鐘):互動課程導入→百度是如何獲取網上的信息資源?→引出爬蟲原理師：查詢信息經常用到哪些方法?生：搜索引擎……師：百度是如何獲取網上的信息資源?師：Python中如何編程實現(xiàn)網頁爬取?開始通過互動問答，從生活中的簡單案例出發(fā)，引發(fā)思考爬蟲網頁獲取信息提取確定要爬取的網頁URL向服務器發(fā)送URL請求返回響應的網頁解析網頁，提取需要的信息建立爬取URL列表Fabe列表中有URL嗎?frue從列表中取個UR保存數(shù)據(jù)到文件數(shù)據(jù)存儲巴有用的數(shù)據(jù)保存起來便于日后使用和分析向服務器請求URL,得到網頁結來解析網頁提取信息【知識點】1、網絡爬蟲(18分鐘)案例：爬取湖南大學官網。Requests庫的使用→爬取網頁的通用框架常(1)Requests庫的安裝、官網地址常(2)Requests庫的網頁請求函數(shù)邊講解邊操作給學生直觀感學生一起動手驗證字典的基本操作(3)Response對象的屬性(4)Requests庫的異常 爬取網頁的通用框架importrequestsdefgetHTMLText(url)爬取網頁的通用框架importrequestsdefgetHTMLText(url)r=requests.get(url,timeout=30)r=requests.get(url,timeout=30)r.raise_for_status()r.encoding='utf-8'returnr.text#返回字符串形式網頁utf-8/gbk/ISO-8859-1網頁編碼t.text用于獲取網頁文本t.content用于獲取圖片、音頻等 retun'產生異常 retun'產生異常if_name_=='_main_:print(getHTMLText(url))信電科學與工程學院季小英是：當.py文件被直接運行時，if_name_=='main'之下的代碼塊將被運行；當.py文件以模塊形式被導入時，if_name_==_main_"之下的代碼塊不被運行思政融入：以大家熟悉的學校官網為例，激發(fā)學習興趣。案例演練【課堂練習】(20分鐘)學生思考完成課堂案例→提高知識內化效率/12093815html京東學思具華夏萬卷新空樣子海政內力里得營家書首頁紅星照耀中國(又譯《西行漫記》)(暢銷900萬冊青少版人民文學出版社)趣樂山耗時三年苦心籍澤，歷史專家嚴槽市核，人文社團隊播心漏校!同步有聲書簽[則]埃澳址斯道著,董樂山保促的結息|滿減梅滿100元，可減50元現(xiàn)金詳情>》名自營中小學教輔的是榜第47位配送至泥響長沙市花輔區(qū)城區(qū)有貨☆虎東精流次日達提的溪戰(zhàn)送境上門√由京東發(fā)損，并握供能后服務.23:00前下單，預計明天(12月19日)送達服務變持放心購閃退款自營每滿100￥50(PM?5DN你好，請登錄免腳注冊被東強大別思政融入：讀了解黨的發(fā)展歷史的書→建設美好祖國的責任感思政融入：了解我國燦爛文化→保護歷史建筑、保護國寶文物【知識點】2、網絡爬蟲引發(fā)的問題(5分鐘)(1)爬蟲引發(fā)的問題：介紹全國首例“爬蟲”技術侵入計算機系統(tǒng)犯罪案(2)網絡爬蟲限制(3)Robots排除協(xié)議：以京東的Robots協(xié)議為例思政融入：網絡爬蟲引發(fā)的問題→Robots協(xié)議→職業(yè)道德教育?！局R點】3、網頁信息提取(15分鐘)(1)BeautifulSoup4庫的使用→網頁解析→標簽及屬性→DOM樹→find_all()和find()標簽查找→開發(fā)者工具的基本使用(2)信息保存為文件的方法案例演示課堂案例演練(20分鐘)(1)案例：組圖爬取。(2)案例：湖南大學2020年各省各批次錄取分數(shù)信息提取。(3)案例：岳麓書院講壇信息提取思政融入：校園風景圖→培養(yǎng)愛校的情懷，高考錄取分數(shù)→成績取得不已→激發(fā)熱愛學習的動力，岳麓書院講壇信息提取→開拓視野有方法學生思考完成課堂案例→提高知識內化效率(組圖】湖大是什么腰色?開始(組圖】湖大是什么腰色?分析網頁結構，查找元素對應采用requests庫能取網頁內容使用beautihhup4庫解析網貞立保存圖片的文件夾根據(jù)每張圖片URL底取每張圖片并以相應文件名保存結束低點科學與工程學院季小類65千★快速訪問OneDrive此電腦3D對象視頻基圖丹4下載本地磁盤(C:)新加卷(D:)新加卷(E:)網16個項目P黑亡算ipC干禁0灰jpg牙白p9g石TlPC驚理灰，pg F爬取2019年“岳麓書院講壇”講座信息，存儲到數(shù)據(jù)文件中首頁URL爬取2019年“岳麓書院講壇”講座信息，存儲到數(shù)據(jù)文件中首頁URL/xysh/xshd/ylsyit.htm第2頁URL/xysh/xshd/ylsyjt/19.htm網址前面部分頁面號最后一頁URL網址前面部分+'1.htm'信息科學與工程學院李小英79爬取2020年湖南大學各省各批次分數(shù)線，存儲到數(shù)據(jù)文件中。url='/info/1150/4679.htm'信息科學與工程學院李小英信息科學與工程學院李小英課堂演練課堂案例演練(5分鐘)案例：天氣信息提取。小結和交流(4分鐘)采用采用requests庫爬取網頁內容使用beautifulsoup4庫分析網頁中數(shù)據(jù)提取相關數(shù)據(jù)，存儲到二維列表中采用用戶偏好的方式打印出來結，總結爬蟲用法和信息提取方法2.信息提??；布置課后編程練習作業(yè)(1分鐘)“減負”的目的。我布置的課堂作業(yè)是：完成課后作業(yè)鞏固識；預習下次課的內容實訓作業(yè)1_python基礎2.計算系統(tǒng)思維3.鮮法思維4.網絡思維5數(shù)據(jù)思維全部未發(fā)布提交中補交中已截止共3個實訓作業(yè)已發(fā)布：3個未發(fā)布：0個已選擇0個(不變排滿頁勾遇第五章HTML網頁文件基礎a已截止李小英已開始做題1