《大數(shù)據(jù)采集與預(yù)處理》課程標(biāo)準(zhǔn)

《大數(shù)據(jù)采集與爬蟲》課程標(biāo)準(zhǔn)《大數(shù)據(jù)采集與預(yù)處理》課程標(biāo)準(zhǔn)CurriculumStandards

目錄一、課程概述 四、考核與評(píng)價(jià)（一）考核構(gòu)成為全面考核學(xué)生的學(xué)習(xí)情況，本課程主要以過程考核為主，考核涵蓋項(xiàng)目任務(wù)全過程。一級(jí)指標(biāo)二級(jí)指標(biāo)線下部分（60%）平時(shí)考核（20%）過程性考核（30%）期末考試（50%）線上部分（40%）自主學(xué)習(xí)考核（50%）自主測(cè)評(píng)考核（50%）一級(jí)指標(biāo)二級(jí)指標(biāo)考核方式考核主體考核內(nèi)容比例線下部分（60%）平時(shí)考核（20%）課堂表現(xiàn)任課教師出勤情況、課堂學(xué)習(xí)精神飽滿、在平臺(tái)上積極回答問題、展示成果、積極參與小組活動(dòng)等各方面50%學(xué)習(xí)態(tài)度任課教師課堂、課后積極提出問題、按時(shí)提交作業(yè)、積極幫助同學(xué)解決課程相關(guān)問題等方面50%過程性考核（30%）作業(yè)一任課教師由教師布置課后作業(yè)，分?jǐn)?shù)由教師給出5%作業(yè)二任課教師由教師布置課后作業(yè)，分?jǐn)?shù)由教師給出5%作業(yè)三任課教師由教師布置課后作業(yè)，分?jǐn)?shù)由教師給出5%作業(yè)四任課教師由教師布置課后作業(yè)，分?jǐn)?shù)由教師給出5%隨堂小組項(xiàng)目匯報(bào)任課教師由教師給出主題和方向，學(xué)生自行組成學(xué)習(xí)小組，分組完成項(xiàng)目，并使用PPT在課堂上向全班進(jìn)行講解和匯報(bào)10%期末考試（50%）理論考試任課教師在最后一周課堂上完成理論考試100%線上部分（40%）自主學(xué)習(xí)考核（50%）在線平臺(tái)自主學(xué)習(xí)情況在線學(xué)習(xí)平臺(tái)根據(jù)每周實(shí)際教學(xué)進(jìn)度及平臺(tái)學(xué)習(xí)情況（網(wǎng)絡(luò)資源學(xué)習(xí)進(jìn)度百分比）給分100%自主測(cè)評(píng)考核（50%）在線平臺(tái)自主測(cè)評(píng)情況在線學(xué)習(xí)平臺(tái)根據(jù)平臺(tái)上的練習(xí)和測(cè)試情況給分100%（二）項(xiàng)目考核形式和評(píng)價(jià)標(biāo)準(zhǔn)各單元考核方式見表4-1至表4-8。4-1教學(xué)項(xiàng)目1考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：環(huán)境搭建項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、Python的基礎(chǔ)知識(shí)（5分）敘述條理準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣1分）。2、Python編程的環(huán)境搭建。（20分）敘述流程準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、PyCharm安裝、部署和應(yīng)用。（20分）正確。不正確（扣10分）。4、素質(zhì)（25分）學(xué)習(xí)態(tài)度（25分）考勤（15分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)。上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）5、測(cè)量（10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)6、小組互評(píng)（10分）：7、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-2教學(xué)項(xiàng)目2考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：實(shí)現(xiàn)簡(jiǎn)單數(shù)據(jù)采集項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、網(wǎng)絡(luò)爬蟲的基本概念和道德法律（5分）敘述搭建方法內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣1分）。2、Python爬蟲的工作過程（15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、實(shí)現(xiàn)簡(jiǎn)單數(shù)據(jù)采集操作（20分）正確。不正確（每處扣2分）。4、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)。上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（15分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）正確安裝、規(guī)范操作。5、個(gè)人評(píng)價(jià)（15分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成個(gè)人評(píng)價(jià)6、小組評(píng)價(jià)（15分）：7、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-3教學(xué)項(xiàng)目3考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：存儲(chǔ)數(shù)據(jù)項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、MySQL的基本概念，PyMySQL和MySQL的區(qū)別（10分）敘述numpy基礎(chǔ)理論和引用方法，準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。2.CSV和JSON的基礎(chǔ)知識(shí)（10分）使用準(zhǔn)確、完善。不清楚、不準(zhǔn)確，（每處扣2分）。3、實(shí)現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換和保存（30分）使用準(zhǔn)確、完善不正確（錯(cuò)一步扣2分）。5、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)（扣0分）。上課每遲到或早退一次扣2，扣完為止。缺課一次扣10分，缺課2次及以上，取消考核資格實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全（扣0分）一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作（扣0分）。6、測(cè)量（10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)7、小組評(píng)價(jià)（10分）：8、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-4教學(xué)項(xiàng)目4考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：requests庫(kù)技術(shù)應(yīng)用案例項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、頁(yè)面結(jié)構(gòu)分析方法（10分）敘述pandas基礎(chǔ)理論和引用方法，準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。2、動(dòng)態(tài)和靜態(tài)數(shù)據(jù)的基本概念（10分）使用準(zhǔn)確、完善。不清楚、不準(zhǔn)確，（每處扣2分）。3、requests庫(kù)編寫爬蟲代碼獲取指定的靜態(tài)和動(dòng)態(tài)數(shù)據(jù)（30分）使用準(zhǔn)確、完善步驟錯(cuò)誤一個(gè)（扣2分）。5、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)（扣0分）。上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作。6、測(cè)量（10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)7、小組評(píng)價(jià)（10分）：8、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-5教學(xué)項(xiàng)目5考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：Selenium和ChromeDriver技術(shù)應(yīng)用案例項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、Selenium庫(kù)和ChromeDriver作用和用途（10分）敘述工作原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。2、Selenium和ChromeDriver的安裝、配置和應(yīng)用（40分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)。上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作。4、測(cè)量10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)5、小組評(píng)價(jià)（10分）：6、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-6教學(xué)項(xiàng)目6考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：Scrapy技術(shù)應(yīng)用案例項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、Scrapy爬蟲框架的工作原理（15分）敘述工作原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣1分）。2、Scrapy組件介紹。（15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、Scrapy及其組件安裝部署和應(yīng)用（20分）能正確連接。錯(cuò)誤一個(gè)（扣2分）。4、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)。上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作（扣0分）。5、測(cè)量（10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)6、小組評(píng)價(jià)（10分）：7、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-7教學(xué)項(xiàng)目7考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：數(shù)據(jù)采集與可視化案例項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、業(yè)務(wù)網(wǎng)站二手房的網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容分析（10分）敘述工作原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣1分）。2、requests庫(kù)編寫爬蟲代碼獲取指定數(shù)據(jù)（15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、BeautifulSoup實(shí)現(xiàn)數(shù)據(jù)的解析（10分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。4、flask和echarts數(shù)據(jù)可視化15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。5、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作。6、測(cè)量（10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)7、小組評(píng)價(jià)（10分）：8、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-8教學(xué)項(xiàng)目8考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：業(yè)務(wù)網(wǎng)站模擬登陸、數(shù)據(jù)采集與保存項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、業(yè)務(wù)網(wǎng)站的網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容分析（10分）敘述工作原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣1分）。2、模擬登錄的過程流程（15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、數(shù)據(jù)獲取的過程（10分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。4、數(shù)據(jù)保存的過程15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。5、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作。6、測(cè)量（10分）根據(jù)項(xiàng)目實(shí)施任務(wù)書上要求完成數(shù)據(jù)測(cè)量任務(wù)7、小組評(píng)價(jià)（10分）：8、方案設(shè)計(jì)及實(shí)施報(bào)告（10分）：表4-9教學(xué)項(xiàng)目9考核評(píng)價(jià)標(biāo)準(zhǔn)項(xiàng)目名稱：大數(shù)據(jù)Hadoop平臺(tái)的Flume數(shù)據(jù)采集框架——日志數(shù)據(jù)采集應(yīng)用項(xiàng)目承接人姓名：考核內(nèi)容扣分標(biāo)準(zhǔn)小計(jì)1、Hadoop核心組件和生態(tài)圈理解（10分）敘述工作原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣1分）。2、Flume的安裝和基本配置（15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。3、文件夾的數(shù)據(jù)采集（10分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。4、TCP端口數(shù)據(jù)采集（15分）敘述原理內(nèi)容準(zhǔn)確、完善。敘述條理不清楚、不準(zhǔn)確，（每處扣2分）。5、素質(zhì)（20分）學(xué)習(xí)態(tài)度（10分）考勤（10分）能按照正常上課時(shí)間學(xué)習(xí)，不遲到，不早退，按時(shí)完成任務(wù)上課每遲到或早退一次扣2，扣完為止。缺課一次扣5分實(shí)訓(xùn)報(bào)告（10分）優(yōu)秀：按時(shí)完成報(bào)告，且整潔、合理要素齊全一般：按時(shí)完成報(bào)告，且不夠整潔、要素齊全（扣2分）差：不能按時(shí)完成，且不夠整潔、內(nèi)容不齊全（扣6分）操作規(guī)范（10分）規(guī)范操作。6、測(cè)量（10分）根據(jù)項(xiàng)