大數(shù)據(jù)及數(shù)據(jù)挖掘?qū)嶒炏到y(tǒng)

大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒炏到y(tǒng)北京紅亞華宇科技有限公司大數(shù)據(jù)的特點大數(shù)據(jù)首先是數(shù)據(jù)量大，典型的大數(shù)據(jù)系統(tǒng)所管理的數(shù)據(jù)可達(dá)PB級異較大其次大數(shù)據(jù)的來源最后大數(shù)據(jù)的數(shù)據(jù)復(fù)雜，數(shù)據(jù)質(zhì)量差關(guān)系復(fù)雜，難以用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫描述大數(shù)據(jù)分析的基石數(shù)據(jù)獲取與數(shù)據(jù)預(yù)處理數(shù)據(jù)統(tǒng)計等基礎(chǔ)分析算法聚類分析等高級分析算法數(shù)據(jù)挖掘算法廉價大數(shù)據(jù)存儲方案可擴(kuò)展的彈性計算資源調(diào)度非結(jié)構(gòu)化數(shù)據(jù)存儲與加工算法并行化分析框架大數(shù)據(jù)實驗系統(tǒng)所支撐的學(xué)科與課程??數(shù)據(jù)挖掘??數(shù)據(jù)結(jié)構(gòu)與算法??云計算與分布式系統(tǒng)計算機(jī)、信管學(xué)科??統(tǒng)計與建模??SAS及R語言統(tǒng)計分析??經(jīng)濟(jì)數(shù)據(jù)分析統(tǒng)計與經(jīng)濟(jì)學(xué)科??數(shù)據(jù)挖掘??商業(yè)數(shù)據(jù)分析??實戰(zhàn)案例分析商科與管理學(xué)科大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒烆悇e數(shù)據(jù)挖掘驗證類實驗數(shù)據(jù)挖掘算法設(shè)計類實驗大數(shù)據(jù)分析基礎(chǔ)類實驗大數(shù)據(jù)分析實戰(zhàn)分析實驗大數(shù)據(jù)實驗系統(tǒng)整體框架大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件數(shù)據(jù)挖掘基礎(chǔ)語言環(huán)境——R語言最為流行的開源統(tǒng)計與數(shù)據(jù)挖掘軟件可跨平臺運行，高效的腳本語言為數(shù)據(jù)分析和顯示提供的強(qiáng)大圖形功能豐富的高質(zhì)量的開源第三方算法軟件包大數(shù)據(jù)分析環(huán)境——Hadoop開源大數(shù)據(jù)分析的事實標(biāo)準(zhǔn)大量的互聯(lián)網(wǎng)公司作為實際生產(chǎn)平臺方便的Java開發(fā)環(huán)境不斷演進(jìn)的良好生態(tài)環(huán)境大數(shù)據(jù)與數(shù)據(jù)挖掘?qū)嶒灮A(chǔ)軟件最流行的商用數(shù)據(jù)統(tǒng)計分析軟件——SAS功能強(qiáng)大，統(tǒng)計方法齊全使用簡便，操作靈活簡單而強(qiáng)大的通用數(shù)據(jù)分析軟件——Excel數(shù)據(jù)統(tǒng)計分析利用VBA進(jìn)行數(shù)據(jù)挖掘分析通用開發(fā)語言——Java數(shù)據(jù)爬取自然語言處理大數(shù)據(jù)實驗平臺網(wǎng)絡(luò)拓?fù)浞?wù)器端R計算服務(wù)Hadoop集群虛擬化實驗臺遠(yuǎn)程連接開發(fā)環(huán)境測試環(huán)境大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（1）數(shù)據(jù)挖掘展示性實驗

用于展示常用數(shù)據(jù)挖掘算法的作用，使用者通過實驗系統(tǒng)所提供數(shù)據(jù)集，直觀理解數(shù)據(jù)挖掘算法的輸出結(jié)果實驗類型實驗名稱統(tǒng)計推斷基礎(chǔ)統(tǒng)計分布假設(shè)檢驗基本線性回歸多變量線性回歸廣義線性模型統(tǒng)計與建模方法演示實驗實驗類型實驗名稱數(shù)據(jù)可視化聚類數(shù)據(jù)降維分類基礎(chǔ)決策樹分類方法高級分類方法關(guān)聯(lián)分析數(shù)據(jù)挖掘方法演示實驗大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（2）數(shù)據(jù)挖掘R語言開發(fā)實驗

利用實驗系統(tǒng)提供的R語言環(huán)境，學(xué)習(xí)基本的R語言開發(fā)方法，并針對提供的數(shù)據(jù)集開發(fā)數(shù)據(jù)挖掘算法實驗類 實驗名稱型R語言編程基礎(chǔ)R語言基礎(chǔ)R語言控制語句R語言數(shù)據(jù)類型R語言常用函數(shù)R語言程序調(diào)試實驗 實驗名稱類型R語言統(tǒng)計與建模R語言統(tǒng)計推斷R語言建立信用基礎(chǔ)評分模型R語言統(tǒng)計分布R語言預(yù)測股票R語言假設(shè)檢驗R語言基本線性R語言市場收益R語言預(yù)測經(jīng)濟(jì)回歸數(shù)據(jù)分指標(biāo)R語言多變量線析綜合R語言偵測欺詐性回歸應(yīng)用交易R語言廣義線性R語言微陣列樣模型本分類實驗 實驗名稱類型大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（3）數(shù)據(jù)挖掘SAS開發(fā)實驗

利用實驗系統(tǒng)提供的SAS環(huán)境，學(xué)習(xí)基本的SAS開發(fā)方法，并針對提供的數(shù)據(jù)集開發(fā)數(shù)據(jù)挖掘算法實驗類型實驗名稱實驗類型實驗名稱實驗類型實驗名稱實驗類型實驗名稱SAS基礎(chǔ)SAS統(tǒng)計推斷SAS數(shù)據(jù)可SAS建立信SAS控制語基礎(chǔ)視化用評分模型句SAS統(tǒng)計分布SAS聚類SAS預(yù)測股SAS基礎(chǔ)編程實驗SAS數(shù)據(jù)類型SAS常用函數(shù)SAS程序調(diào)SAS統(tǒng)計與建模SAS假設(shè)檢驗SAS線性回歸SAS多變量線性回歸SAS廣義線性SAS數(shù)據(jù)挖掘算法SAS數(shù)據(jù)降維SAS分類基礎(chǔ)SAS決策樹SAS數(shù)據(jù)分析綜合應(yīng)用票市場收益SAS預(yù)測經(jīng)濟(jì)指標(biāo)SAS偵測欺詐交易試模型分類方法SAS微陣列SAS高級分樣本分類類方法SAS關(guān)聯(lián)分析大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（4）基于Hadoop的大數(shù)據(jù)基礎(chǔ)實驗

利用實驗所提供的環(huán)境，學(xué)習(xí)基本的MapReduce算法，利用提供大數(shù)據(jù)在Hadoop實現(xiàn)大數(shù)據(jù)實戰(zhàn)分析實驗類 實驗名稱型大數(shù)據(jù)基礎(chǔ)實驗Hadoop環(huán)境的搭建實驗基礎(chǔ)MapReduce開發(fā)實驗迭代式MapReduce程序和計數(shù)器實驗分區(qū)、排序和合并算法實驗Hive的使用實驗類型實驗名稱超市零售數(shù)據(jù)分析實驗NetFlix電影數(shù)據(jù)分析實驗新浪微博消息分析實驗帶有情感標(biāo)簽的微博數(shù)據(jù)分析實驗網(wǎng)絡(luò)安全日志分析實驗出租車GPS位置分析實驗社交資源共享站點用戶行為分析實驗大數(shù)據(jù)實戰(zhàn)實驗大數(shù)據(jù)實驗系統(tǒng)實驗內(nèi)容（5）與大數(shù)據(jù)相關(guān)的其他實驗

實現(xiàn)大數(shù)據(jù)分析中常用的Excel數(shù)據(jù)分析、數(shù)據(jù)爬取、自然語言處理、數(shù)據(jù)庫使用等實驗Excel數(shù)據(jù)處理與分析視化Excel函數(shù)與公式Excel透視表Excel數(shù)據(jù)分析VBA程序基礎(chǔ)VBA控制語句VBA常用函數(shù)VBA綜合應(yīng)用實驗類型實驗名稱實驗類型實驗名稱實驗類型實驗名稱實驗類型實驗名稱Excel基本操作Excel數(shù)據(jù)可MySQL配置SQL中的DDL語句抓取網(wǎng)頁處理HTML頁面字符串編碼正則表達(dá)式自動分詞MySQL數(shù)據(jù)庫操作數(shù)MySQL存儲過程和自定義函數(shù)SQL中的DML非HTML正文語句JAV抽取SQL中的DCLA數(shù)設(shè)計爬蟲隊語句據(jù)爬列MySQL常用函取并行爬蟲JAVA自然語言處理句法分析語義分析實驗平臺管理方式B/S架構(gòu)的管理體系，系統(tǒng)分為管理員、教師與學(xué)生三種角色管理員管理實驗內(nèi)容以及教師用戶注冊，教師管理實驗開放、實驗流程以及學(xué)生打分學(xué)生用戶完成實驗內(nèi)容，提交實驗報告虛實結(jié)合的實驗平臺以云計算的方式提供實驗開發(fā)環(huán)境以學(xué)生端虛擬化的方式提供本地Hadoop環(huán)境以后臺服務(wù)方式提供R語言自動運行服務(wù)以Shell方式提供支持大數(shù)據(jù)的Hadoop運行環(huán)境自動化實驗管理平臺學(xué)生端實驗環(huán)境自動啟動與環(huán)境恢復(fù)服務(wù)端資源自動分配與調(diào)度實驗數(shù)據(jù)集自動化準(zhǔn)備與初始化實驗過程說明（1）數(shù)據(jù)挖掘展示性實驗1??學(xué)生在瀏覽器中閱讀實驗文檔，并下載樣例數(shù)據(jù)集2??學(xué)生在樣例數(shù)據(jù)集上做修改，從瀏覽器提交數(shù)據(jù)集3??服務(wù)器引擎進(jìn)行計算，學(xué)生從瀏覽器查看分析結(jié)果實驗過程說明（2）數(shù)據(jù)挖掘R語言開發(fā)實驗1??學(xué)生在瀏覽器中閱讀實驗文檔，并啟動開發(fā)虛擬機(jī)2??學(xué)生在開發(fā)虛擬機(jī)中進(jìn)行R實驗3??學(xué)生整理實驗結(jié)果，從瀏覽器提交實驗報告實驗過程說明（3）1大數(shù)據(jù)基礎(chǔ)實驗??學(xué)生在瀏覽器中閱讀實驗文檔，并啟動開發(fā)虛擬機(jī)和本地Hadoop集群虛擬機(jī)2??學(xué)生在開發(fā)虛擬機(jī)中開發(fā)Hadoop程序3??學(xué)生在本地Hadoop集群測試Hadoop程序4??學(xué)生從瀏覽器提交Hadoop程序5??服務(wù)器Hadoop集群進(jìn)行計算，學(xué)生從瀏覽器查看運行結(jié)