大數(shù)據(jù)分析方向教學(xué)計(jì)劃

1、大數(shù)據(jù)分析課程標(biāo)準(zhǔn)一、課程定位現(xiàn)在企業(yè)為了提升客人使用體驗(yàn),提高業(yè)務(wù)效率,在大數(shù)據(jù)蓬勃發(fā)展的階段里,需要對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行轉(zhuǎn)型升級(jí);作為大數(shù)據(jù)核心部分,大數(shù)據(jù)研發(fā)工程師應(yīng)用成為有大量數(shù)據(jù)的企業(yè)必備人才,在數(shù)據(jù)處理,數(shù)據(jù)分析方面,大數(shù)據(jù)研發(fā)是不可或缺的技能。隨著大數(shù)據(jù)應(yīng)用的大量普及,開源框架,比如hadoop,spark等,也得到長(zhǎng)足發(fā)展。本課程除了著力于統(tǒng)數(shù)據(jù)的收集和搭建,使得作為大數(shù)據(jù)的研發(fā)/分析帶來(lái)基礎(chǔ)設(shè)施,讓學(xué)員掌握,同時(shí),對(duì)大數(shù)據(jù)的離線/實(shí)時(shí)處理和部分?jǐn)?shù)據(jù)分析進(jìn)行深度理解和把握。通過本課程,掌握大數(shù)據(jù)平臺(tái)并且對(duì)大數(shù)據(jù)分析的基本技能和方法,為將來(lái)在企業(yè)分析大數(shù)據(jù)做決策打下基礎(chǔ)。二、課程性

2、質(zhì)與作用課程性質(zhì)大數(shù)據(jù)分析課程。課程作用大數(shù)據(jù)分析是數(shù)據(jù)清洗過后使得數(shù)據(jù)產(chǎn)生價(jià)值的過程。在企業(yè)豐富應(yīng)用場(chǎng)景中,通過標(biāo)準(zhǔn)的大數(shù)據(jù)分析方法不能勝任的情況下,就需要通過先驗(yàn)知識(shí)來(lái)驗(yàn)證大數(shù)據(jù)并找出規(guī)律來(lái)達(dá)到業(yè)務(wù)目標(biāo)。在實(shí)際工作中,掌握大數(shù)據(jù)研分析需要展示的數(shù)理統(tǒng)計(jì)分析的知識(shí),敏銳的數(shù)據(jù)觀察力,和部分軟件開發(fā)的知識(shí),也需要比較扎實(shí)的計(jì)算機(jī)基礎(chǔ)。本課程大綱是完整的課程,實(shí)際培訓(xùn)課程中,會(huì)根據(jù)學(xué)員實(shí)際情況進(jìn)行分組。通過本課程的學(xué)習(xí)。三、課程目標(biāo)課程教學(xué)以靈活運(yùn)用分析方法為目標(biāo),以實(shí)際項(xiàng)目為中心,以合理知識(shí)結(jié)構(gòu)分解為手段,結(jié)合實(shí)際的應(yīng)用場(chǎng)景,對(duì)大數(shù)據(jù)進(jìn)行文本,圖標(biāo)等大數(shù)據(jù)進(jìn)行分析和學(xué)習(xí),主要以實(shí)際操作讓學(xué)員對(duì)

3、相關(guān)知識(shí)點(diǎn)掌握,達(dá)到理論與實(shí)際結(jié)合,教學(xué)與企業(yè)融合的內(nèi)容。學(xué)員學(xué)成后,能夠利用清洗后的數(shù)據(jù),根據(jù)提供的先驗(yàn)知識(shí),可以做出模型并能夠預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)。課程內(nèi)容始終圍繞全面提升學(xué)生的理論和操作的熟練程度、規(guī)范化程度以及職業(yè)素質(zhì)三個(gè)方面展開。(一知識(shí)目標(biāo)1.理解大數(shù)據(jù)概念及應(yīng)用場(chǎng)景,先導(dǎo)課程Linux的操作2.掌握開發(fā)語(yǔ)言R或python3. 掌握大數(shù)據(jù)HDFS 、HBase 、Hadoop 集群搭建及數(shù)據(jù)批處理。4. 離線工具ETL 和hive 的安裝及應(yīng)用。5. 數(shù)據(jù)可視化的應(yīng)用6. 真實(shí)(二能力目標(biāo)1.全局的眼光理解大數(shù)據(jù),理解大數(shù)據(jù)的應(yīng)用,并有總體的概念。2.理解企業(yè)中實(shí)際生產(chǎn)環(huán)境的大數(shù)據(jù)搭建,

4、收集,分析,應(yīng)用的過程。3.具備在實(shí)際應(yīng)用場(chǎng)景中,能對(duì)數(shù)據(jù)處理流程,數(shù)據(jù)挖掘進(jìn)行個(gè)性化處理。 四、課程設(shè)計(jì)主要指課程設(shè)計(jì)的總體思路:課程設(shè)計(jì)圍繞大數(shù)據(jù)分析的基礎(chǔ)和方法,考慮到實(shí)際企業(yè)生產(chǎn)環(huán)境中的應(yīng)用場(chǎng)景,課程中采用實(shí)際案例,從案例分析、啟動(dòng)、實(shí)施、驗(yàn)證各環(huán)節(jié)剖析講解,與真實(shí)環(huán)境同步。課程案例選取:以搭建支持10GB 的數(shù)據(jù)為目標(biāo),在目標(biāo)3機(jī)器上部署大數(shù)據(jù)倉(cāng)庫(kù),并能實(shí)際運(yùn)行。模擬手機(jī)1GB 的數(shù)據(jù),能夠通過Hive 進(jìn)行查詢,為將來(lái)數(shù)據(jù)清洗和數(shù)據(jù)分析提供基礎(chǔ)。五、課程內(nèi)容與要求先導(dǎo)知識(shí)R 語(yǔ)言Hadoop 生態(tài)算法及模型大量案例 R 簡(jiǎn)介 函數(shù)與對(duì)象 編寫腳本 R 繪圖 編寫函數(shù) 數(shù)據(jù)保存 Py

5、thon 語(yǔ)言（二選一） 1.環(huán)境搭建及 Python 基礎(chǔ) R 是開源軟件，多操 作系統(tǒng)， 眾多程序包， 應(yīng)用于各行各業(yè)。 1.環(huán)境搭建 2.Python 基本數(shù)據(jù)結(jié) 構(gòu) 3.Python 基本語(yǔ)法 2.python 基礎(chǔ) 工具庫(kù) 1. NumPy 基礎(chǔ)：數(shù)組 和矢量計(jì)算 2. 高級(jí)數(shù)據(jù)結(jié)構(gòu)和 操作工具：Pandas 3. 數(shù)據(jù)加載、 存儲(chǔ)與 文件格式 4. 數(shù)據(jù)規(guī)則化 5. 繪圖與可視化 mllib 開發(fā)和 Graphx 簡(jiǎn)介 MLlib 的架構(gòu) MLLib 中的算法 算法應(yīng)用案例 Graphx 簡(jiǎn)介與 核心功能 數(shù)據(jù)分析 數(shù)據(jù)分析與挖 掘 1.數(shù)據(jù)聚合與分組運(yùn) 算 2.利用 statsm

6、odels 進(jìn)行統(tǒng)計(jì)分析 3.利用 statsmodels 進(jìn)行回歸分析 6/8 4.時(shí)間序列分析 5.常見算法介紹 6.數(shù)據(jù)挖掘項(xiàng)目實(shí)操 案例分析 營(yíng)銷數(shù)據(jù)案例 分析 互聯(lián)網(wǎng)數(shù)據(jù)案 例分析 ARPU 分析 漏斗分析 1.感知機(jī) 2.決策樹、隨機(jī)森林 3.支持向量機(jī)(SVM 4.正則化方法 5.主成分分析(PCA 1. 特征工程 2. 參數(shù)調(diào)優(yōu) 3. 集成學(xué)習(xí) 4. 文本挖掘 機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)基礎(chǔ) 機(jī)器學(xué)習(xí)高級(jí) 機(jī)器學(xué)習(xí)案例 講解 1.web 數(shù)據(jù)可視化概 述 2.爬蟲與數(shù)據(jù)處理 3.圖表可視化 4.webGIS 數(shù)據(jù)可視化 5.圖可視化 數(shù)據(jù)可視化 webGIS 數(shù)據(jù)可 視化 圖可視化 數(shù)據(jù)風(fēng)控 1.風(fēng)控架構(gòu) 2.反欺詐 3.信用評(píng)估 4.貸后管理 五、考核標(biāo)準(zhǔn) 7/8 本課程屬于實(shí)踐性、應(yīng)用性比較強(qiáng)的