數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘

1、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘教學(xué)大綱一、課程概況課程名稱(chēng)：數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘英文名稱(chēng)： Data warehous ing and data mining課程性質(zhì)：選修 課程學(xué)時(shí)：32 課程學(xué)分：2 授課對(duì)象：信息類(lèi)的大學(xué)本科高年級(jí)學(xué)生 開(kāi)課時(shí)間：三年級(jí)下學(xué)期 講課方式：課堂+實(shí)驗(yàn) 主講老師：二、教學(xué)目的本課程把數(shù)據(jù)視為基礎(chǔ)資源，根據(jù)軟件工程的思想，總結(jié)了數(shù)據(jù)利用的歷程，講述了數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)知識(shí)和工具，研究了數(shù)據(jù)挖掘的任務(wù)及其挑戰(zhàn)，給出了經(jīng) 典的數(shù)據(jù)挖掘算法，介紹了數(shù)據(jù)挖掘的產(chǎn)品，剖析了稅務(wù)數(shù)據(jù)挖掘的案例，探索 了大數(shù)據(jù)的管理和應(yīng)用問(wèn)題。三、教學(xué)任務(wù)完成數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘教材內(nèi)容，及教學(xué)計(jì)劃中的互動(dòng)實(shí)踐

2、內(nèi)容，另有學(xué)牛自主選題的大作業(yè)、選作的論文報(bào)告。32學(xué)時(shí)：課堂24、實(shí)驗(yàn)2、課外2、研討4學(xué)時(shí)。四、教學(xué)內(nèi)容的結(jié)構(gòu)課程由9個(gè)教學(xué)單元組成，對(duì)應(yīng)于數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的內(nèi)容。笫1章數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘概述1.1概述11.2數(shù)據(jù)中心4關(guān)系型數(shù)據(jù)小心非關(guān)系型數(shù)據(jù)中心123混合型數(shù)據(jù)屮心（大數(shù)據(jù)平臺(tái)）1.3混合型數(shù)據(jù)中心參考架構(gòu)笫2章數(shù)據(jù)2.1數(shù)據(jù)的概念2.2數(shù)據(jù)的內(nèi)容實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)222吋態(tài)數(shù)據(jù)與事務(wù)數(shù)據(jù)圖形數(shù)據(jù)與圖像數(shù)據(jù)主題數(shù)據(jù)與全部數(shù)據(jù)空間數(shù)據(jù)226序列數(shù)據(jù)和數(shù)據(jù)流元數(shù)據(jù)與數(shù)據(jù)字典2.3數(shù)據(jù)屬性及數(shù)據(jù)集2.4數(shù)據(jù)特征的統(tǒng)計(jì)描述22集中趨勢(shì)22離散程度23數(shù)據(jù)的分布形狀252.5數(shù)據(jù)的可視化262

3、.6數(shù)據(jù)相似與相異性的度量292.7數(shù)據(jù)質(zhì)量322.8數(shù)據(jù)預(yù)處理32被污染的數(shù)據(jù)33數(shù)據(jù)清理35數(shù)據(jù)集成36數(shù)據(jù)變換37數(shù)據(jù)規(guī)約38第3章數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)ETL基礎(chǔ)393.1從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)393.2數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)39兩層體系結(jié)構(gòu)41三層體系結(jié)構(gòu)41組成元素423.3數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型43331概念模型43邏輯模型43物理模型463.4 ETL46數(shù)據(jù)抽収47數(shù)據(jù)轉(zhuǎn)換48數(shù)據(jù)加載493.5 OLAP493.5.1 維 493.5.2 OLAP與 OLTP493.5.3 OLAP的基本操作503.6 OLAP的數(shù)據(jù)模型51361 ROLAP523.6.2 MOLAP523.6.3 HOLAP53

4、第四章數(shù)據(jù)倉(cāng)庫(kù)和ETL工具544.1 IBM DB2 V10自適應(yīng)壓縮54多溫度存儲(chǔ)55時(shí)間旅行查詢564.1.4 DB2兼容性功能60工作負(fù)載管理614.1.6 PureXML62當(dāng)前己落實(shí)634.1.8 DB2 PureScale Feature63分區(qū)特性65并行技術(shù)674.1.11 SQW684.1.12 Cubing Services68列式存儲(chǔ)及壓縮技術(shù)（BLU）704.2 InfoSphere Datastage714.2.1 基于 In formation Server 的架構(gòu) 72企業(yè)級(jí)實(shí)施和管理75高擴(kuò)展的體系架構(gòu)79具備線性擴(kuò)充能力814.2.5 ETL元數(shù)據(jù)管理824.

5、3 InfoSphere QualityStage82第5章 數(shù)據(jù)挖掘基礎(chǔ)845.1數(shù)據(jù)挖掘的起源845.2數(shù)據(jù)挖掘的定義855.3數(shù)據(jù)挖掘的任務(wù)86分類(lèi)回歸分析5.33相關(guān)分析聚類(lèi)分析 關(guān)聯(lián)規(guī)則異常檢測(cè)5.4數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程商業(yè)理解數(shù)據(jù)理解數(shù)據(jù)準(zhǔn)備建立模型模型評(píng)估結(jié)果部署5.5數(shù)據(jù)挖掘的十大挑戰(zhàn)性問(wèn)題數(shù)據(jù)挖掘統(tǒng)一理論的探索高維數(shù)據(jù)和高速數(shù)據(jù)流的研究與應(yīng)用時(shí)序數(shù)據(jù)的挖掘與降噪從復(fù)雜數(shù)據(jù)中找尋復(fù)雜知識(shí)網(wǎng)絡(luò)環(huán)境屮的數(shù)據(jù)挖掘分布式數(shù)據(jù)挖掘生物庚學(xué)和環(huán)境科學(xué)數(shù)據(jù)挖掘數(shù)據(jù)挖掘過(guò)程自動(dòng)化與可視化信息安全與隱私保護(hù)動(dòng)態(tài)、不平衡及成木敏感數(shù)據(jù)的挖掘 第6章數(shù)據(jù)挖掘算法6.1算法概述分類(lèi)算法及評(píng)估指標(biāo)聚類(lèi)算法及

6、其評(píng)價(jià)指標(biāo)6.2 C4.56.3 CART算法6.4 K-Means 算法6.5 SVM 算法 1216.6 Apriori 算法6.7 EM算法6.8 PageRank6.9Adaboost 算法6.10KNN 算法6.11Naive Bayes第7章數(shù)據(jù)挖掘工具與產(chǎn)品7.1數(shù)據(jù)挖掘工具概述7.2簡(jiǎn)業(yè)數(shù)據(jù)挖掘工具IBM SPSS Modeler7.3開(kāi)源通用的數(shù)據(jù)挖掘工具WEKA第8章數(shù)據(jù)挖掘案例8.1概述8.2納稅評(píng)估示例8.3稅收預(yù)測(cè)建模示例8.4稅務(wù)行業(yè)納稅人客戶細(xì)分探索8.5基于Hadoop平臺(tái)的數(shù)據(jù)挖掘思考題第9章大數(shù)據(jù)管理9.1什么是大數(shù)據(jù)9.2 Hadoop 介紹9.3 NoSQL介紹9.4 InfoSphere Biginsights 3.0介紹五、教學(xué)活動(dòng)以及教學(xué)方法上的基本要求課堂教學(xué)、實(shí)驗(yàn)、課外作業(yè)、自選題目的大作業(yè)、論文和報(bào)告結(jié)合，另有課外-論環(huán)節(jié)。通過(guò)課堂教學(xué)講解基本原理和方法；通過(guò)互動(dòng)實(shí)踐課鞏固課堂教學(xué)內(nèi)容，并 在助教輔導(dǎo)下完成基礎(chǔ)實(shí)驗(yàn)，由助教驗(yàn)收；課外作業(yè)由學(xué)生獨(dú)立完成，并提交系 統(tǒng)進(jìn)行評(píng)分。自選題目的大作業(yè)可以分組進(jìn)行，要在期中提交選題報(bào)告，期末提交全部文檔及程序并且逐一答辯。答辯形式為：學(xué)生演示9分鐘，教師提問(wèn)3分鐘，當(dāng)即給岀成績(jī)。論文和報(bào)告屬于加分因素。課外討論安排在每次課堂教學(xué) Z