職業(yè)技術(shù)學(xué)院《數(shù)據(jù)分析與挖掘》教學(xué)大綱

《數(shù)據(jù)分析與挖掘》教學(xué)大綱課程名稱：數(shù)據(jù)分析與挖掘課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論48學(xué)時(shí)，實(shí)驗(yàn)16學(xué)時(shí)）總學(xué)分：4.0學(xué)分課程的性質(zhì)隨著云時(shí)代的來臨，大數(shù)據(jù)技術(shù)將具有越來越重要的戰(zhàn)略意義。大數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素，人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一輪生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來。大數(shù)據(jù)分析技術(shù)將幫助企業(yè)用戶在合理時(shí)間內(nèi)攫取、管理、處理、整理海量數(shù)據(jù)，為企業(yè)經(jīng)營(yíng)決策提供積極的幫助。大數(shù)據(jù)分析作為數(shù)據(jù)存儲(chǔ)和挖掘分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等戰(zhàn)略性新興產(chǎn)業(yè)。雖然大數(shù)據(jù)目前在國(guó)內(nèi)還處于初級(jí)階段，但是其商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來，特別是有實(shí)踐經(jīng)驗(yàn)的大數(shù)據(jù)分析人才更是各企業(yè)爭(zhēng)奪的熱門。為了滿足日益增長(zhǎng)的大數(shù)據(jù)分析人才需求，特開設(shè)Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)課程。課程的任務(wù)通過本課程的學(xué)習(xí)，使學(xué)生學(xué)會(huì)使用Python語(yǔ)言進(jìn)行數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理、分類與預(yù)測(cè)、聚類分析、時(shí)序預(yù)測(cè)、關(guān)聯(lián)規(guī)則挖掘、智能推薦、偏差檢測(cè)等操作，并完成大量數(shù)據(jù)挖掘工程案例，將理論與實(shí)踐相結(jié)合，讓學(xué)生熟練掌握使用Python語(yǔ)言對(duì)樣本數(shù)據(jù)進(jìn)行處理、挖掘建模，為將來從事數(shù)據(jù)分析研究、工作奠定基礎(chǔ)。課程學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它1第1章數(shù)據(jù)挖掘基礎(chǔ)102第2章Python數(shù)據(jù)分析簡(jiǎn)介213第3章數(shù)據(jù)探索334第4章數(shù)據(jù)預(yù)處理335第5章挖掘建模13116第6章財(cái)政收入影響因素分析及預(yù)測(cè)模型357第7章航空公司客戶價(jià)值分析348第8章商品零售購(gòu)物籃分析349第9章基于水色圖像的水質(zhì)評(píng)價(jià)3410第10章家用熱水器用戶行為分析與事件識(shí)別5911第11章電子商務(wù)網(wǎng)站用戶行為分析及服務(wù)推薦3812第12章電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析5913第13章基于Python引擎的開源數(shù)據(jù)挖掘建模平臺(tái)（TipDM）22總計(jì)4963教學(xué)內(nèi)容及學(xué)時(shí)安排理論教學(xué)序號(hào)章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1數(shù)據(jù)挖掘基礎(chǔ)掌握數(shù)據(jù)挖掘的流程了解常用的數(shù)據(jù)挖掘建模工具掌握數(shù)據(jù)挖掘的流程12Python數(shù)據(jù)分析簡(jiǎn)介掌握Python開發(fā)平臺(tái)的搭建方法了解Python的運(yùn)行方式、基本命令了解Python的數(shù)據(jù)結(jié)構(gòu)了解Python數(shù)據(jù)分析工具了解配套附件使用設(shè)置掌握Python開發(fā)平臺(tái)的搭建了解Python的運(yùn)行方式、基本命令、數(shù)據(jù)結(jié)構(gòu)以及庫(kù)的導(dǎo)入與添加熟悉Python數(shù)據(jù)挖掘相關(guān)庫(kù)的安裝和使用方法了解書本配套附件的使用23數(shù)據(jù)探索掌握缺失值分析的方法掌握異常值分析的方法掌握一致性分析的方法掌握分布分析的方法掌握對(duì)比分析的方法掌握統(tǒng)計(jì)量分析的方法掌握周期性分析的方法掌握貢獻(xiàn)度分析的方法掌握相關(guān)性分析的方法了解基本的統(tǒng)計(jì)特征函數(shù)了解統(tǒng)計(jì)繪圖函數(shù)掌握Python中數(shù)據(jù)質(zhì)量分析的方法掌握Python中數(shù)據(jù)特征分析的方法熟悉Python主要數(shù)據(jù)探索函數(shù)34數(shù)據(jù)預(yù)處理掌握缺失值、異常值處理方法了解常見的數(shù)據(jù)集成的方法掌握數(shù)據(jù)規(guī)范化和離散化的方法了解屬性構(gòu)造的方法了解小波變換的方法掌握屬性歸約和數(shù)值歸約的方法了解Python主要數(shù)據(jù)預(yù)處理函數(shù)掌握Python中數(shù)據(jù)清洗的方法掌握Python中數(shù)據(jù)集成的方法掌握Python中數(shù)據(jù)歸約的方法了解Python主要數(shù)據(jù)預(yù)處理函數(shù)35挖掘建模了解常用的分類與預(yù)測(cè)算法了解回歸分析掌握決策樹的原理掌握人工神經(jīng)網(wǎng)絡(luò)的原理掌握分類與預(yù)測(cè)算法的評(píng)價(jià)方法了解Python分類預(yù)測(cè)模型特點(diǎn)了解常用聚類分析算法掌握K-Means聚類算法的原理掌握聚類分析算法的評(píng)價(jià)方法了解Python主要聚類分析算法掌握Apriori算法的原理掌握時(shí)間序列預(yù)處理的方法了解平穩(wěn)時(shí)間序列分析掌握非平穩(wěn)時(shí)間序列分析了解Python主要時(shí)序模式算法了解離群點(diǎn)檢測(cè)方法了解基于模型的離群點(diǎn)檢測(cè)方法了解基于聚類的離群點(diǎn)檢測(cè)方法掌握Python中分類與預(yù)測(cè)的方法掌握Python中聚類分析的方法掌握Python中關(guān)聯(lián)規(guī)則分析的方法掌握Python中時(shí)序模式的分析方法掌握Python中離群點(diǎn)的檢測(cè)方法136財(cái)政收入影響因素分析及預(yù)測(cè)模型分析財(cái)政收入預(yù)測(cè)背景了解財(cái)政收入預(yù)測(cè)的方法熟悉財(cái)政收入預(yù)測(cè)的步驟與流程了解描述性統(tǒng)計(jì)分析分析計(jì)算結(jié)果了解相關(guān)性分析分析計(jì)算結(jié)果了解Lasso回歸方法分析Lasso回歸結(jié)果了解灰色預(yù)測(cè)算法了解SVR算法分析預(yù)測(cè)結(jié)果了解財(cái)政收入預(yù)測(cè)的背景知識(shí)，分析步驟和流程掌握相關(guān)性分析方法與應(yīng)用掌握用Lasso模型特征選取方法掌握灰色預(yù)測(cè)和支持向量回歸算法的原理與應(yīng)用37航空公司客戶價(jià)值分析分析航空公司現(xiàn)狀認(rèn)識(shí)客戶價(jià)值分析熟悉航空客戶價(jià)值分析的步驟與流程描述性統(tǒng)計(jì)分析相關(guān)性分析處理缺失值與異常值標(biāo)準(zhǔn)化L、R、F、M、C這5個(gè)特征了解K-Means聚類算法分析聚類結(jié)果模型應(yīng)用了解RFM模型的基本原理掌握K-Means算法的基本原理與使用方法比較不同類別客戶的客戶價(jià)值，制定相應(yīng)的營(yíng)銷策略38商品零售購(gòu)物籃分析分析零售企業(yè)商品銷售現(xiàn)狀了解某商品零售企業(yè)的基本數(shù)據(jù)情況熟悉購(gòu)物籃分析的基本流程與步驟分析熱銷商品分析售出商品的結(jié)構(gòu)了解Apriori算法的基本原理與使用方法構(gòu)建零售商品的Apriori模型根據(jù)模型結(jié)果提出商品銷售策略熟悉購(gòu)物籃分析的實(shí)現(xiàn)流程與步驟掌握Apriori算法的基本原理與使用方法分析商品銷售狀況與商品結(jié)構(gòu)合理性分析零售商品間的關(guān)聯(lián)關(guān)系39基于水色圖像的水質(zhì)評(píng)價(jià)了解水質(zhì)評(píng)價(jià)背景與挖掘目標(biāo)熟悉水質(zhì)評(píng)價(jià)的分析步驟與流程圖像切割特征提取構(gòu)建決策樹水質(zhì)評(píng)價(jià)分類模型水質(zhì)評(píng)價(jià)掌握?qǐng)D像處理算法中的顏色矩提取掌握決策樹算法的使用了解決策樹算法在水質(zhì)評(píng)價(jià)實(shí)例中的應(yīng)用310家用熱水器用戶行為分析與事件識(shí)別分析家用熱水器行業(yè)現(xiàn)狀熟悉家用熱水器用戶行為分析的步驟與流程分析熱水器的水流量狀況刪除冗余特征劃分用水事件確定單次用水事件時(shí)長(zhǎng)閾值構(gòu)建用水時(shí)長(zhǎng)與頻率特征構(gòu)建用水量與波動(dòng)特征篩選候選洗浴事件模型構(gòu)建評(píng)估模型掌握使用Python進(jìn)行數(shù)據(jù)預(yù)處理的方法掌握數(shù)據(jù)轉(zhuǎn)換，屬性提取過程掌握BP神經(jīng)網(wǎng)絡(luò)算法的使用了解BP神經(jīng)網(wǎng)絡(luò)算法在用戶行為分析與事件識(shí)別案例中的應(yīng)用511電子商務(wù)網(wǎng)站用戶行為分析及服務(wù)推薦了解智能推薦服務(wù)應(yīng)用場(chǎng)景了解某法律網(wǎng)站的基本情況分析原始數(shù)據(jù)用戶點(diǎn)擊的網(wǎng)頁(yè)類型，得到統(tǒng)計(jì)分析結(jié)果根據(jù)原始數(shù)據(jù)用戶瀏覽網(wǎng)頁(yè)次數(shù)的情況進(jìn)行統(tǒng)計(jì)分析通過原始數(shù)據(jù)用戶在瀏覽頁(yè)面時(shí)的情況得到網(wǎng)頁(yè)排名的統(tǒng)計(jì)分析清除數(shù)據(jù)探索分析過程中發(fā)現(xiàn)與目標(biāo)無關(guān)的數(shù)據(jù)識(shí)別翻頁(yè)的網(wǎng)址，并對(duì)其進(jìn)行還原，然后對(duì)用戶訪問的頁(yè)面進(jìn)行去重操作對(duì)數(shù)據(jù)進(jìn)行手動(dòng)網(wǎng)址分類，對(duì)處理后的數(shù)據(jù)進(jìn)行特征選取基于物品的協(xié)同過濾算法，計(jì)算出物品之間的相似度根據(jù)物品的相似度和用戶的歷史行為給用戶生成推薦列表對(duì)模型進(jìn)行評(píng)價(jià)，判斷推薦系統(tǒng)的好壞熟悉網(wǎng)站智能推薦的步驟與流程掌握簡(jiǎn)單的統(tǒng)計(jì)分析方法，運(yùn)用于網(wǎng)頁(yè)類型與點(diǎn)擊次數(shù)的統(tǒng)計(jì)掌握對(duì)某網(wǎng)站數(shù)據(jù)進(jìn)行預(yù)處理的方法，包括數(shù)據(jù)去重、數(shù)據(jù)變換和特征選取掌握使用協(xié)同過濾算法對(duì)某網(wǎng)站進(jìn)行智能推薦的方法312電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析了解電商企業(yè)現(xiàn)狀了解網(wǎng)絡(luò)上發(fā)布內(nèi)容的技術(shù)和Web文檔中提取信息的技術(shù)對(duì)電商產(chǎn)品評(píng)論數(shù)據(jù)進(jìn)行預(yù)處理，包括行分詞處理，去除停用詞，查看分詞效果基于情感詞表進(jìn)行情感詞匹配，并對(duì)情感詞的傾向進(jìn)行修正對(duì)情感分析結(jié)果進(jìn)行檢驗(yàn)了解主題模型，以及LDA模型原理與參數(shù)估計(jì)方法掌握尋找最優(yōu)主題數(shù)的方法建立相應(yīng)的LDA模型進(jìn)行LDA主題分析熟悉電商產(chǎn)品評(píng)論數(shù)據(jù)實(shí)現(xiàn)情感分析的步驟與流程了解如何使用Python語(yǔ)言對(duì)互聯(lián)網(wǎng)信息進(jìn)行爬取掌握文本分析的預(yù)處理方法對(duì)預(yù)處理后的評(píng)論數(shù)據(jù)進(jìn)行情感分析使用LDA模型對(duì)正、負(fù)面評(píng)論數(shù)據(jù)進(jìn)行主題分析513基于Python引擎的開源數(shù)據(jù)挖掘建模平臺(tái)（TipDM）平臺(tái)簡(jiǎn)介導(dǎo)入數(shù)據(jù)配置輸入源組件配置缺失值處理組件配置紀(jì)錄選擇組件配置數(shù)據(jù)標(biāo)準(zhǔn)化組件配置K-Means組件了解TipDM數(shù)據(jù)挖掘建模平臺(tái)的模板、數(shù)據(jù)源、工程及系統(tǒng)組件了解TipDM數(shù)據(jù)挖掘建模平臺(tái)的本地化部署的步驟掌握快速構(gòu)建數(shù)據(jù)挖掘工程的方法2學(xué)時(shí)合計(jì)49實(shí)驗(yàn)教學(xué)序號(hào)實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)要求學(xué)時(shí)1Python數(shù)據(jù)分析簡(jiǎn)介在Windows系統(tǒng)上安裝Anaconda運(yùn)行Python基本命令的程序?qū)霂?kù)添加第三方庫(kù)12數(shù)據(jù)探索使用Python進(jìn)行數(shù)據(jù)質(zhì)量分析使用Python進(jìn)行數(shù)據(jù)特征分析使用Python進(jìn)行特征統(tǒng)計(jì)使用Python進(jìn)行繪圖33數(shù)據(jù)預(yù)處理使用Python進(jìn)行數(shù)據(jù)清洗使用Python進(jìn)行數(shù)據(jù)集成使用Python進(jìn)行數(shù)據(jù)歸約34挖掘建模使用邏輯回歸算法進(jìn)行分類預(yù)測(cè)使用決策樹算法進(jìn)行分類預(yù)測(cè)使用人工神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分類預(yù)測(cè)使用K-Means進(jìn)行聚類分析使用TSNE進(jìn)行數(shù)據(jù)降維并展示聚類結(jié)果使用Apriori算法進(jìn)行關(guān)聯(lián)分析使用ARIMA模型進(jìn)行時(shí)間序列分析使用Python離散點(diǎn)檢測(cè)115財(cái)政收入影響因素分析及預(yù)測(cè)分析財(cái)政收入數(shù)據(jù)特征的相關(guān)性使用Lasso回歸選取財(cái)政收入預(yù)測(cè)的關(guān)鍵特征使用灰色預(yù)測(cè)和SVR構(gòu)建財(cái)政收入預(yù)測(cè)模型評(píng)價(jià)SVR模型56航空公司客戶價(jià)值分析處理數(shù)據(jù)缺失值與異常值構(gòu)建航空客戶價(jià)值分析的關(guān)鍵特征標(biāo)準(zhǔn)化LRFMC5個(gè)特征構(gòu)建K-Means聚類模型評(píng)價(jià)K-Means聚類模型47商品零售購(gòu)物籃分析使用統(tǒng)計(jì)學(xué)知識(shí)分析熱銷商品使用商品結(jié)構(gòu)圖分析售出商品的結(jié)構(gòu)使用apriori函數(shù)構(gòu)建零售商品的Apriori模型48基于水色圖像的水質(zhì)評(píng)價(jià)圖像切割和特征提取數(shù)據(jù)劃分使用決策樹算法構(gòu)建水質(zhì)評(píng)價(jià)分類模型使用混淆矩陣和準(zhǔn)確率進(jìn)行水質(zhì)評(píng)價(jià)49家用熱水器用戶行為分析與事件識(shí)別探索分析熱水器的水流量狀況刪除冗余屬性劃分用水事件確定單次用水事件時(shí)長(zhǎng)閾值構(gòu)建用水行為特征篩選候選洗浴事件構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型評(píng)價(jià)BP神經(jīng)網(wǎng)絡(luò)模型910電子商務(wù)網(wǎng)站用戶行為分析及服務(wù)推薦使用pymysql庫(kù)中的pm連接數(shù)據(jù)庫(kù)統(tǒng)計(jì)101、107和199等網(wǎng)頁(yè)類型統(tǒng)計(jì)用戶在網(wǎng)頁(yè)的點(diǎn)擊次數(shù)分析網(wǎng)頁(yè)排名刪除不符合規(guī)則的網(wǎng)頁(yè)還原翻頁(yè)網(wǎng)址劃分正確的網(wǎng)頁(yè)類型將處理后的數(shù)據(jù)轉(zhuǎn)換成0-1二元型數(shù)據(jù)構(gòu)建智能推薦模型評(píng)價(jià)智能推薦模型811電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析去除評(píng)論數(shù)據(jù)的數(shù)字、字母對(duì)評(píng)論數(shù)據(jù)進(jìn)行去重對(duì)評(píng)論數(shù)據(jù)進(jìn)行分詞處理根據(jù)停用詞庫(kù)去除評(píng)論文本中的停用詞繪制詞云圖，查看分詞效果將情感詞表與分詞結(jié)果進(jìn)行匹配對(duì)情感值的方向進(jìn)行修正，并計(jì)算情感分析的準(zhǔn)確率分別對(duì)正面評(píng)論和負(fù)面評(píng)論繪制詞云，查看情感分析效果對(duì)正面情感詞與負(fù)面情感詞構(gòu)建語(yǔ)料庫(kù)，并建立文檔-詞條矩陣使用LDA主題模型，找出不同主題數(shù)下的主題詞，尋找最優(yōu)主題數(shù)輸入正面情感與負(fù)面情感評(píng)論求解LDA模型，并分析結(jié)果912基于Python引擎的開源數(shù)據(jù)挖掘建模平臺(tái)（TipDM）TipDM數(shù)據(jù)挖掘建模平臺(tái)的本地化部署導(dǎo)入數(shù)據(jù)配置輸入源組件配置缺失值處理組件配置記錄選擇組件配置數(shù)據(jù)標(biāo)準(zhǔn)化組件配置K-Means組件