《數(shù)據(jù)采集與處理：基于python》教學大綱- 含思政

附件課程思政案例設計申報專業(yè)名稱：數(shù)據(jù)采集與處理課程性質：□公共課R專業(yè)課課程類別：□理論課□實踐課R理論實踐一體課授課對象：數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)，信息管理與信息系統(tǒng)專業(yè)，數(shù)理統(tǒng)計專業(yè)一、課程簡介數(shù)據(jù)采集與處理是大數(shù)據(jù)處理與分析的重要環(huán)節(jié)，對應課程也是數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)培養(yǎng)的重要環(huán)節(jié)。本課程主要講解數(shù)據(jù)科學與大數(shù)據(jù)應用中數(shù)據(jù)采集的各類數(shù)據(jù)來源、數(shù)據(jù)格式、數(shù)據(jù)表示和加工處理及數(shù)據(jù)存儲的原理和技術，并以Python為主要開發(fā)語言，通過實戰(zhàn)項目例子，帶領學生完成從數(shù)據(jù)采集、數(shù)據(jù)表示、轉換加工及到數(shù)據(jù)存儲的完整開發(fā)過程，使學生掌握相關開發(fā)方法、工具和技巧。二、思政元素本課程屬于理工科類課程，教學中把馬克思主義立場觀點方法的教育與科學精神的培養(yǎng)結合起來，提高學生正確認識問題、分析問題和解決問題的能力。深化職業(yè)理想和職業(yè)道德教育，注重強化學生工程倫理教育，培養(yǎng)學生精益求精的大國工匠精神，激發(fā)學生科技報國的家國情懷和使命擔當。本課程設計主要包含的思政元素：元素1：職業(yè)理想和職業(yè)道德教育數(shù)據(jù)是否能夠在合理、合規(guī)及合法的情況下進行采集、存儲和使用，直接關系到大數(shù)據(jù)和人工智能技術是否能在各行各業(yè)有效發(fā)揮積極的作用。因此，課程設計不但要注意培養(yǎng)學生遠大的職業(yè)理想，還要加強學生的職業(yè)道德教育。元素2：精益求精的大國工匠精神數(shù)據(jù)質量直接影響數(shù)據(jù)分析的準確性和有效性，從而影響基于數(shù)據(jù)決策的效果。因此，課程設計需要在數(shù)據(jù)處理環(huán)節(jié)中強調(diào)一絲不茍、嚴謹認真的態(tài)度，以加強培養(yǎng)學生精益求精的大國工匠精神。元素3：科學思維方法數(shù)據(jù)采集和存儲有不同的技術和方案，需要根據(jù)數(shù)據(jù)需求、數(shù)據(jù)來源類型等進行科學分析、綜合權衡確定。因此，課程設計中需要加強培養(yǎng)學生歸納總結、邏輯推理、逆向思維、突破創(chuàng)新等方面的科學思維方法。元素4：科技報國的家國情懷和使命擔當通過國內(nèi)外大數(shù)據(jù)技術進展的比較，既說明我國在相關產(chǎn)業(yè)和學術領域取得的成就，又明確自身不足和差距，以增強學生的民族自豪感和文化自信，同時激發(fā)學生科技報國的家國情懷和使命擔當。本課程將分別從線下教學、上機和線上課程管理等方面加以設計，將上述思政元素融入到相應環(huán)節(jié)，努力實現(xiàn)全過程、全方位的育人新方案。1、教學環(huán)節(jié)的課程思政設計將思政元素穿插在各章節(jié)的知識點講解中，有機融入課程教學，達到“春風化雨、潤物無聲”的育人效果。本課程的教學內(nèi)容共分為8章，表１為對教學大綱進行改進后的具體方案。表1各章節(jié)中知識目標與思政教育的融合點教學章節(jié)知識目標與思政元素的案例設計第一章概述知識目標1.了解數(shù)據(jù)科學相關概念及數(shù)據(jù)分析完整過程；2.理解數(shù)據(jù)采集與處理與其他學科和課程關系；3.理解數(shù)據(jù)類型、數(shù)據(jù)存儲和大數(shù)據(jù)相關技術；4.了解Python相關數(shù)據(jù)科學及數(shù)據(jù)采集與處理工具等。思政元素設計1.結合我國相關技術發(fā)展現(xiàn)狀、成就和不足，激發(fā)學生愛國主義精神和學習動力。2.引申數(shù)據(jù)科學中的數(shù)據(jù)隱私、科學倫理等問題，培養(yǎng)學生樹立職業(yè)道德和職業(yè)倫理意識。第二章Python基礎知識目標1.了解Python語言的特點和相關開發(fā)環(huán)境；2.掌握Python基本語法、控制結構、異常與處理及函數(shù)的封裝和使用等；3.理解Python常用數(shù)據(jù)類型和數(shù)據(jù)結構如列表、元組、字典和集合等的特點，熟練掌握其常用操作方式。思政元素設計通過函數(shù)和類的抽象與封裝及編程錯誤常見解決方法，融入馬克思辯證唯物主義和科學思考方法；并結合業(yè)界編程規(guī)范提醒學生要養(yǎng)成良好的編碼習慣，逐步樹立良好的職業(yè)素養(yǎng)。第三章第三章Numpy與Pandas基礎知識目標1.了解Numpy和Pandas的常用數(shù)據(jù)結構、數(shù)據(jù)類型及其用途；2.掌握Numpy多維數(shù)組的創(chuàng)建、存取、運算及數(shù)組間的合并拆分等常見操作；3.理解Pandas中Series和Dataframe的特點及與Numpy多維數(shù)組的區(qū)別，掌握它們的創(chuàng)建、存取、運算等常用操作方法。思政元素設計Numpy和Pandas是數(shù)據(jù)科學中數(shù)據(jù)處理環(huán)節(jié)最常用的模塊，通過這些模塊與Python自身數(shù)據(jù)類型如列表和元組的比較，突出Numpy和Pandas在數(shù)據(jù)存取和處理方面的專業(yè)專注、精益求精的獨特優(yōu)點，強調(diào)“術業(yè)有專攻”的工匠精神。第四章數(shù)據(jù)可視化知識目標1.了解數(shù)據(jù)可視化概念、相關分類和應用；2.理解數(shù)據(jù)可視化在數(shù)據(jù)預處理和數(shù)據(jù)分析中的作用及模塊功能差異；3.掌握數(shù)據(jù)可視化模塊Matplotlib、Seaborn等的編程接口和使用方法；4.熟練使用Python編程進行不同類型的數(shù)據(jù)可視化展示和分析。思政元素設計通過古詩“橫看成嶺側成峰，遠近高低各不同”，啟發(fā)學生理解不同的數(shù)據(jù)可視化類型和方法對應的效果存在差異，其視角和維度不同，可視化效果也存在差異；并通過具體的數(shù)據(jù)實例，課堂進行數(shù)據(jù)可視化分析展示，觀察不同圖形類型的展現(xiàn)效果差異，培養(yǎng)學生熱愛中國傳統(tǒng)文化并樹立數(shù)據(jù)分析的科學探索和認真細致的工匠精神。第五章文件讀寫與操作知識目標1.了解不同的文件類型如CSV、XML、JSON、HDF等的數(shù)據(jù)組織格式；2.理解Python對象和數(shù)據(jù)的序列化與反序列化概念和方法；3.掌握Python中對本地文件的讀寫相關模塊和使用方法；4.熟練編寫文件讀寫相關模塊和數(shù)據(jù)處理的應用程序。思政元素設計1.通過不同數(shù)據(jù)格式如HDF、JSON、XML、Excel等的介紹，提醒學生在數(shù)據(jù)交換的標準規(guī)范方面，我國雖然在相關行業(yè)定義了一些規(guī)范，但國際通用標準的話語權還相對缺乏，從而激發(fā)學生科技報國的責任感和使命感，培養(yǎng)家國情懷和使命擔當。2.通過示例文件讀取常見的亂碼問題，進行漢字與西文字符的計算機編碼比較，引入東西方文化差異，強調(diào)漢字表現(xiàn)的豐富性和語言魅力，引導學生自覺傳承和弘揚中華優(yōu)秀傳統(tǒng)文化，加強愛國主義情懷培養(yǎng)。第六章統(tǒng)計與概率基礎知識目標1.了解離散變量、連續(xù)變量類型及對應描述性統(tǒng)計；2.理解不同類型變量的統(tǒng)計分布特征和統(tǒng)計測量；3.掌握基于Python的查看數(shù)據(jù)特征分布及描述性統(tǒng)計方法；4.熟練掌握數(shù)據(jù)查看、統(tǒng)計和概率分布的Python編程。思政元素設計數(shù)據(jù)處理前需要觀察數(shù)據(jù)的總體特征，對于不同類型變量有不同的觀察數(shù)據(jù)特征方法，提醒學生注意比較和總結不同方法的優(yōu)缺點，并引用《三國演義》中諸葛亮的“觀其大略，不求甚解”，將其改為“觀大略，求甚解”，強調(diào)在數(shù)據(jù)處理和分析中，需要首先查看數(shù)據(jù)總體特征、概率分布等以“觀大略”，然后還要注重細節(jié)“求甚解”以便發(fā)現(xiàn)問題和規(guī)律，從而既讓學生了解中國的傳統(tǒng)文化，又培養(yǎng)了科學思維方法和工匠精神。第七章數(shù)據(jù)清洗與預處理知識目標1.了解數(shù)據(jù)清洗和預處理的一般方法和原理；2.掌握基于Python的數(shù)據(jù)清洗和預處理相關模塊和方法；3.熟練掌握數(shù)據(jù)連接合并及聚合統(tǒng)計的Python模塊和編程。思政元素設計案例教學：通過含有異常值、空值的實例數(shù)據(jù)，讓學生進行異常值檢測和空值填充操作，比較處理前后的統(tǒng)計和分析結果差異，引發(fā)學生思考數(shù)據(jù)處理和數(shù)據(jù)質量的重要性和影響，培養(yǎng)學生嚴謹求實、精益求精的大國工匠精神。第八章網(wǎng)絡數(shù)據(jù)采集知識目標1.了解HTML、DOM數(shù)據(jù)組織形式和網(wǎng)絡爬蟲相關模塊與技術；2.理解網(wǎng)站交互模式和網(wǎng)絡爬蟲的基本原理與流程；3.掌握常用網(wǎng)絡爬取相關模塊如Pandas、bs4、urllib、requests、selenium等的編程接口和使用方法；4.熟練編寫網(wǎng)絡數(shù)據(jù)爬取和HTML數(shù)據(jù)解析的Python程序。思政元素設計結合2021年國家頒布的《數(shù)據(jù)安全法》和《個人信息保護法》，引用古語“君子愛財，取之有道”，提示學生從網(wǎng)絡“爬取數(shù)據(jù)”也要遵守法律和職業(yè)道德。通過比較不同網(wǎng)站如百度、京東、谷歌、搜狐的robots.txt，讓學生了解網(wǎng)站公開的爬蟲聲明，提醒數(shù)據(jù)濫用可能造成的法律后果和社會影響，強化學生的職業(yè)操守和職業(yè)道德培養(yǎng)。第九章關系數(shù)據(jù)庫連接與訪問知識目標1.了解關系數(shù)據(jù)庫的基本概念、原理、知識和常用SQL操作，理解關系數(shù)據(jù)庫ACID特性和關系模型結構；2.了解嵌入式關系數(shù)據(jù)庫SQLite的特點和訪問方式，掌握基于Python語言訪問SQLite數(shù)據(jù)庫操作方法；3.了解網(wǎng)絡關系數(shù)據(jù)庫MySQL的特點和訪問方式，掌握基于Python模塊pymysql、SQLAlchemy及Pandas訪問MySQL數(shù)據(jù)庫操作方法。思政元素設計歸納和演繹是常用的科學方法，通過關系數(shù)據(jù)庫的連接、查詢和分組統(tǒng)計的SQL操作，提示學生比較基于Pandas的不同數(shù)據(jù)對象的連接和聚合統(tǒng)計方法的差異，并進行歸納總結，找出相似點和差異，從而在加深已有知識橫向和縱向聯(lián)系與理解基礎上，培養(yǎng)學生科學的思維方法。通過提供的關系數(shù)據(jù)庫和非關系數(shù)據(jù)庫實例練習，提高學生正確認識問題、分析問題和解決問題的能力。第十章大數(shù)據(jù)存儲與訪問技術知識目標1.了解大數(shù)據(jù)相關概念、關鍵技術、計算模式和NoSQL數(shù)據(jù)庫分類，理解非關系數(shù)據(jù)庫NoSQL的CAP定理和BASE原則；2.了解NoSQL類數(shù)據(jù)庫MongoDB的特點和存儲模式，掌握基于Python的MongoDB操作步驟及相關模塊和方法。思政元素設計大數(shù)據(jù)典型數(shù)據(jù)庫MongoDB其中一項特點，是其關鍵字或屬性能夠動態(tài)修改和增刪，通過容納不同的屬性和格式，使其應對互聯(lián)網(wǎng)大數(shù)據(jù)的存取極其方便和靈活，并能靈活擴展以適應大規(guī)模數(shù)據(jù)的存取?！坝腥菽舜蟆笔侵袊囊豁梻鹘y(tǒng)文化，結合MongoDB的“有容”帶來的大數(shù)據(jù)高效存儲特征，弘揚中華傳統(tǒng)優(yōu)秀文化，從而培養(yǎng)愛國主義情懷。第十一章數(shù)據(jù)集成與ETL技術知識目標1.了解數(shù)據(jù)集成基本概念、分類、常見方法和相關產(chǎn)品；2.了解ETL相關技術和常用ETL工具，理解常見ETL相關技術和基本操作方法。思政元素設計通過介紹我國各級政府的政務信息資源共享平臺建設及國產(chǎn)優(yōu)秀的相關ETL軟件產(chǎn)品，培養(yǎng)學生的民族自豪感和愛國熱情。2、上機環(huán)節(jié)的課程思政設計本課程特別強調(diào)實踐動手和解決問題的能力，遵循循序漸進、前后聯(lián)系、橫向比較等原則和方法，根據(jù)課程進度每兩周布置一個具有一定挑戰(zhàn)性的上機編程題。題目的選擇和數(shù)據(jù)實例選取更偏重中國情景，同時注重實用性、趣味性和復雜性，而且不提供標準答案，鼓勵學生參考課程案例和綜合比較已有技術方法獨立解決問題，對與眾不同的解決方法和創(chuàng)新思維給予高分獎勵，對雷同和不符合規(guī)范要求的作業(yè)進行扣分懲罰，從而激發(fā)學生的科學思維方法和創(chuàng)新精神，并培養(yǎng)良好的編程習慣和精益求精的大國工匠精神。典型的上機編程題目設計思路如下：Python基本編程作業(yè)：要求對某一類計算實現(xiàn)函數(shù)或類封裝，并參考編碼規(guī)范編程實現(xiàn)，強化學生良好的編程習慣和抽象思維能力，從而加強科學思維方法和工匠精神培養(yǎng)。本地文件、網(wǎng)絡爬蟲、數(shù)據(jù)庫存取作業(yè)：采集示例數(shù)據(jù)中包含中文字符編碼、空值和異常值等，獲取數(shù)據(jù)容易出現(xiàn)亂碼、數(shù)據(jù)類型轉換等錯誤問題，提示學生需要考慮中文編碼原理和處理技術、代碼錯誤跟蹤定位方法等，提高學生正確認識問題、分析問題和解決問題的能力，并通過中國情景和中文文化特點，培養(yǎng)學生的愛國主義情懷。數(shù)據(jù)可視化作業(yè)：提供示例數(shù)據(jù)，要求使用不同的數(shù)據(jù)可視化模塊和方法，實現(xiàn)不同類型的圖形展示。通過比較不同的方法技術和可視化圖形類型的特點和差異，加強學生的歸納和演繹的科學思維方法培養(yǎng)。3、線上課程管理的思政設計將教學課件、視頻資料、題庫、作業(yè)和練習等布置到泛雅網(wǎng)絡教學平臺，并設置學習任務點、練習作業(yè)和章節(jié)測驗督促學生進行自主學習和練習。作業(yè)和章節(jié)測驗都是通過線上發(fā)布、線上收集、線上批閱和回復，學生可以及時檢查成績和問題，并能夠通過老師的批復意見了解自己問題所在；線上還可以發(fā)布一些活動，如搶答、討論、問卷調(diào)研等，促進學生更多的參與課堂活動和課程建設?；谧鳂I(yè)規(guī)范、實現(xiàn)復雜度和區(qū)別度等的獎懲機制，鼓勵學生獨立解決問題、創(chuàng)新思考不同方案、遵守編碼規(guī)范和上機要求，并通過學生作業(yè)與老師批語的反饋機制，逐步培養(yǎng)學生的嚴謹認真、精益求精的工匠精神和勇于創(chuàng)新的科學思維方法。三、教案設計（一）教學目標通過講解網(wǎng)絡數(shù)據(jù)爬?。淳W(wǎng)絡爬蟲）的相關技術和方法，使學生理解網(wǎng)頁數(shù)據(jù)結構和交互訪問模式，掌握常用的網(wǎng)絡爬蟲Python相關模塊的編程接口和使用方法，并結合爬蟲聲明、反爬蟲方法及不同數(shù)據(jù)存儲技術，不斷提高學生正確認識問題、分析問題和解決問題的綜合能力，培養(yǎng)學生精益求精的大國工匠精神，并引導學生自覺實踐數(shù)據(jù)科學倫理和社會主義職業(yè)道德。（二）教學內(nèi)容教學內(nèi)容：第七章中的網(wǎng)絡爬蟲技術，課程將分為兩個案例進行講授，即靜態(tài)網(wǎng)頁（如本校官網(wǎng)教務處網(wǎng)站等）和動態(tài)網(wǎng)頁（如國際城市天氣查詢網(wǎng)站、京東商城等）的數(shù)據(jù)獲取相關Python模塊、技術和編程方法。教學重點：HTML網(wǎng)頁的數(shù)據(jù)組織格式、網(wǎng)頁交互模式和解析方法、動態(tài)網(wǎng)頁技術和相關爬蟲技術。教學難點：基于DOM模型解析HTML網(wǎng)頁內(nèi)容，對于動態(tài)網(wǎng)頁內(nèi)容如何正確獲取內(nèi)容并解決亂碼和返回空值問題，需要培養(yǎng)學生仔細觀察、耐心謹慎的科學素養(yǎng)和分析問題、解決問題的能力。（三）思政引入主要思政元素的融入方法如下：通過查看網(wǎng)站的robots.txt文件中的爬蟲聲明，引用中國古語“君子愛財，取之有道”，提醒學生從網(wǎng)絡“爬取數(shù)據(jù)”也要遵守法律和職業(yè)道德，注意數(shù)據(jù)濫用可能造成的法律后果和社會影響，強化學生的職業(yè)操守和職業(yè)道德培養(yǎng)，并加強中華優(yōu)秀傳統(tǒng)文化教育。通過網(wǎng)頁數(shù)據(jù)結構查看和解析過程，提醒學生注意中文和英文的不同編碼方法和解析問題，說明中華漢字表示的豐富性和計算機處理的復雜性，需要仔細觀察網(wǎng)頁結構和編碼方式，培養(yǎng)學生精益求精、嚴謹認真的大國工匠精神，并弘揚中華傳統(tǒng)文化。通過介紹不同類型網(wǎng)頁的解析方法和技術，引導學生進行橫向和縱向比較，歸納總結并分析不同技術方法的優(yōu)缺點和應用場景，培養(yǎng)學生的科學素養(yǎng)和創(chuàng)新思維能力。通過展示并比較國內(nèi)外不同的網(wǎng)站開發(fā)和反爬蟲技術，介紹互聯(lián)網(wǎng)技術在我國的廣泛應用和效果，與國外相比的技術應用不足和優(yōu)勢，激發(fā)學生科技報國的家國情懷和使命擔當。（四）教學手段與方法課程采用線上線下相結合的教學方法，結合具體網(wǎng)站案例講解靜態(tài)和動態(tài)網(wǎng)頁技術、交互模式和數(shù)據(jù)解析方法，并在爬蟲聲明、編碼解析和問題處理等不同環(huán)節(jié)與多種“課程思政”元素相融合。線下采用PPT多媒體授課、案例和編程演示及學生同步練習方式，線上采用作業(yè)發(fā)布、問題測驗方式加強學生實踐和思考。（五）教學過程與詳細設計課堂總體過程：先介紹相關理論知識和方法工具（10~15分鐘），然后演示相關方法工具或播放視頻資源（10分鐘左右），接著學生根據(jù)聽課與觀察老師操作演示自行操作練習（10~15分鐘），最后在網(wǎng)絡教學平臺發(fā)布1~2個問題啟發(fā)學生思考總結（5~10分鐘）。在課堂授課過程中，融入思政元素，并啟發(fā)學生思考、比較和總結。HTML介紹與靜態(tài)網(wǎng)頁爬?。?）講授內(nèi)容HTML與DOM結構urllib.request獲取網(wǎng)頁方法BeautifulSoup解析網(wǎng)頁內(nèi)容其他模塊解析網(wǎng)頁內(nèi)容方法和比較，如Pandas讀取Table格式（2）案例引入網(wǎng)站爬取聲明和職業(yè)道德分別查看百度學術和谷歌學術網(wǎng)站根目錄下的robots.txt文件，內(nèi)容如圖1所示。介紹我國已在2021年頒布實施《數(shù)據(jù)安全法》和《個人信息保護法》，并引用中國古語“君子愛財，取之有道”，提醒學生從網(wǎng)絡“爬取數(shù)據(jù)”也要遵守法律和職業(yè)道德，注意數(shù)據(jù)濫用可能造成的法律后果和社會影響。圖1.中外網(wǎng)站爬取聲明示例示例網(wǎng)站和HTML結構瀏覽器中打開學校教務處網(wǎng)站（），查看部門職責欄目網(wǎng)頁的展示內(nèi)容及網(wǎng)頁源碼和編碼（或字符集charset），內(nèi)容如圖2所示。介紹中文和英文的不同編碼方法和解析問題，而中文又有多種編碼和字符集，如UTF-8、GB2312等，如果中文字符集和編碼設置不當，則會導致獲取內(nèi)容亂碼。因此，提醒學生需要仔細觀察網(wǎng)頁結構和編碼方式，養(yǎng)成精益求精、嚴謹認真的學習和職業(yè)習慣。另外，提醒學生注意示例網(wǎng)頁特殊的Table標簽結構，除了可以使用urllib.request和BeautifulSouprequests模塊基于DOM模型解析之外，還可以使用Pandas的read_html方法更