《數(shù)據(jù)挖掘技術(shù)與應(yīng)用》課件-項目一：搭建數(shù)據(jù)挖掘環(huán)境

數(shù)據(jù)挖掘技術(shù)DataMiningTechnology>>人工智能專業(yè)項目一：搭建數(shù)據(jù)挖掘環(huán)境任務(wù)一揭開數(shù)據(jù)挖掘面紗任務(wù)二搭建數(shù)據(jù)挖掘環(huán)境任務(wù)三運行第一個程序任務(wù)一揭開數(shù)據(jù)挖掘面紗任務(wù)描述項目組接到一個數(shù)據(jù)挖掘項目，今天我們將進(jìn)行該項目的項目啟動會，以便了解項目的整體情況，并對各個環(huán)節(jié)的工作要求有一個清晰的認(rèn)識和了解，為日后協(xié)同開展工作做準(zhǔn)備?！爸褐?，才能百戰(zhàn)百勝“，我們先要進(jìn)行數(shù)據(jù)挖掘系統(tǒng)的構(gòu)建規(guī)劃，理解數(shù)據(jù)挖掘商業(yè)模式和業(yè)務(wù)流程，構(gòu)思好項目的總體架構(gòu)，這樣才能在編寫頁面時游刃有余。”這就是我們完成的第1個任務(wù)：揭開數(shù)據(jù)挖掘面紗。任務(wù)一1.1.1認(rèn)識數(shù)據(jù)挖掘ONESECOND會有60張照片上傳到網(wǎng)絡(luò)ONEMINUTE會有60小時視頻上傳到視頻網(wǎng)站youtubeONEDAY在facebook有40億的信息擴(kuò)散每個智能手機(jī)用戶平均會安裝65個應(yīng)用有2940億封郵件發(fā)出，相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量發(fā)出的社區(qū)帖子達(dá)200萬個，相當(dāng)于《時代》雜志770年的文字量互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1．68億張DVD為什么需要數(shù)據(jù)挖掘——數(shù)據(jù)爆炸VS知識匱乏人們積累的數(shù)據(jù)越來越多目前這些數(shù)據(jù)還僅僅應(yīng)用在數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢，導(dǎo)致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。任務(wù)一1.1.1認(rèn)識數(shù)據(jù)挖掘數(shù)據(jù)挖掘的提出任務(wù)一1.1.1認(rèn)識數(shù)據(jù)挖掘什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘是從數(shù)據(jù)中，發(fā)現(xiàn)其有用的信息，從而幫助我們做出決策（廣義角度）任務(wù)一1.1.1認(rèn)識數(shù)據(jù)挖掘什么是數(shù)據(jù)挖掘數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程（技術(shù)角度）任務(wù)一1.1.1認(rèn)識數(shù)據(jù)挖掘任務(wù)一1.1.1認(rèn)識數(shù)據(jù)挖掘商業(yè)領(lǐng)域金融領(lǐng)域交通領(lǐng)域......數(shù)據(jù)挖掘的其他應(yīng)用領(lǐng)域任務(wù)一1.1.2數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域抖音的大數(shù)據(jù)通過識別大數(shù)據(jù)，分析每個內(nèi)容，通過點贊，停留等動作識別用戶的興趣標(biāo)。然后分別給內(nèi)容和用戶打上大量的標(biāo)簽，精準(zhǔn)給用戶匹配相關(guān)內(nèi)容。任務(wù)一1.1.2數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域農(nóng)夫山泉用大數(shù)據(jù)賣礦泉水在強(qiáng)大的數(shù)據(jù)分析能力做支持后，農(nóng)夫山泉近年以30%-40%的年增長率，在飲用水方面快速超越了原先的三甲：娃哈哈、樂百氏和可口可樂。任務(wù)一1.1.2數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域soul的大數(shù)據(jù)soul提出的心靈匹配算法（可以看到兩個人心靈的契合程度）任務(wù)一1.1.2數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域任務(wù)一1.1.3數(shù)據(jù)挖掘的模型任務(wù)一1.1.4數(shù)據(jù)挖掘的數(shù)據(jù)類型數(shù)據(jù)挖掘能被應(yīng)用于任何對目標(biāo)應(yīng)用有意義的數(shù)據(jù)類型最基本的形式有：數(shù)據(jù)庫數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)事務(wù)處理數(shù)據(jù)庫數(shù)據(jù)其他類型的數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)數(shù)據(jù)庫管理系統(tǒng)（DBMS）數(shù)據(jù)倉庫數(shù)據(jù)數(shù)據(jù)倉庫通過數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)集成、數(shù)據(jù)裝入和定期數(shù)據(jù)刷新來構(gòu)造。任務(wù)一1.1.4數(shù)據(jù)挖掘的數(shù)據(jù)類型事務(wù)處理數(shù)據(jù)庫數(shù)據(jù)傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)不能做這種商業(yè)分析。但是基于交易數(shù)據(jù)的數(shù)據(jù)挖掘能夠發(fā)現(xiàn)這種頻繁模式，即發(fā)現(xiàn)那些商品會被一起經(jīng)常購買。其他類型的數(shù)據(jù)時間相關(guān)的數(shù)據(jù)和序列數(shù)據(jù)（歷史記錄，股票交易）數(shù)據(jù)流（視頻監(jiān)控和傳感器數(shù)據(jù)）空間數(shù)據(jù)（地圖）工程設(shè)計數(shù)據(jù)（系統(tǒng)部件和集成電路）超鏈接和多媒體數(shù)據(jù)（文本、圖像、音頻和視頻）圖數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)（社會和信息網(wǎng)絡(luò)）web數(shù)據(jù)等等（HTML等）圖數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)（社會和信息網(wǎng)絡(luò)）web數(shù)據(jù)等等（HTML等）任務(wù)一1.1.4數(shù)據(jù)挖掘的數(shù)據(jù)類型任務(wù)小結(jié)認(rèn)識數(shù)據(jù)挖掘數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域數(shù)據(jù)挖掘的模型數(shù)據(jù)挖掘的數(shù)據(jù)類型任務(wù)二搭建數(shù)據(jù)挖掘環(huán)境任務(wù)描述在開始進(jìn)行數(shù)據(jù)挖掘之前，需要搭建好數(shù)據(jù)挖掘環(huán)境。在掌握了相關(guān)數(shù)據(jù)挖掘知識之后，我們搭建好數(shù)據(jù)挖掘環(huán)境。這就是我們完成的第2個任務(wù)：搭建數(shù)據(jù)挖掘環(huán)境。任務(wù)二1.2.1Python開發(fā)環(huán)境系統(tǒng)要求Python支持的系統(tǒng)平臺WindowsUnixLinuxMacOSXPython支持跨平臺移植可以移植到Java和.NET虛擬機(jī)。Python程序編寫可以使用IDLEPythonShell編寫（1）在瀏覽器地址欄中輸入“/”，按回車鍵，進(jìn)入Python官方網(wǎng)站，如圖所示。任務(wù)二1.2.2Python的安裝工欲善其事，必先利其器。在學(xué)習(xí)Python語言之前，首先要搭建Python開發(fā)環(huán)境，本書將基于Windows平臺開發(fā)Python程序，接下來分步驟講解Python的安裝。（2）單擊上圖中的Downloads進(jìn)入下載頁面，如圖所示。（3）單擊上圖中的DownloadPython3.10進(jìn)行下載，下載完成后的文件名為python-3.10.6.exe，雙擊該文件，進(jìn)入Python安裝界面，如圖所示。任務(wù)二1.2.2Python的安裝（4）在上圖中，選中AddPython3.10toPATH前小方框，表示將Python.exe添加到環(huán)境變量Path中，此外還可以選擇安裝方式，InstallNow為默認(rèn)安裝，Customizeinstallation為自定義安裝，此處單擊Customizeinstallation，進(jìn)入可選特性界面，如圖所示。任務(wù)二1.2.2Python的安裝（5）單擊上圖中的Next按鈕，進(jìn)入高級選項界面，如圖所示。任務(wù)二1.2.2Python的安裝（6）單擊上圖中Browse按鈕，選擇安裝路徑，最后單擊Install按鈕，開始安裝，進(jìn)入安裝進(jìn)度界面，如圖所示。（7）安裝完成后的界面如圖所示，最后單擊Close按鈕即可。任務(wù)二1.2.2Python的安裝（8）安裝完成后，需要測試安裝的Python是否可用。打開控制臺（按Window+R組合鍵打開運行窗口，在輸入框中輸入cmd并單擊“確定”按鈕），在命令行中輸入python，按回車鍵，將會顯示Python的版本號，如圖所示。任務(wù)二1.2.2Python的安裝（9）在上圖中，輸入python并按回車鍵后，Python解釋器就開始啟動了，用戶可以接著輸入“importthis”，如圖所示。（10）在上圖中，輸出結(jié)果為Python的設(shè)計哲學(xué)，即優(yōu)雅、明確、簡單。如果想退出Python解釋器，則輸入exit()。任務(wù)二1.2.2Python的安裝任務(wù)二搭建數(shù)據(jù)挖掘環(huán)境Anaconda（官方網(wǎng)站）就是可以便捷獲取包且對包能夠進(jìn)行管理，Anaconda包含了conda、Python在內(nèi)的超過180個科學(xué)包及其依賴項。通過官網(wǎng)下載，選擇適合自己的電腦版本的安裝包。/download/下載安裝包任務(wù)二1.2.3anaconda的安裝選擇路徑下載完成之后得到exe文件Anaconda3-2020.11-Windows-x86_64.exe，雙擊運行任務(wù)二1.2.3anaconda的安裝假如你的電腦有多個

Users

，才需要考慮這個問題。此處可點擊任意一個，如圖所示。Installfor:Justme

還是

AllUsers

任務(wù)二1.2.3anaconda的安裝為了方便，將本機(jī)的Python環(huán)境注入到Anaconda中。點擊進(jìn)入下一步按照下圖進(jìn)行安裝任務(wù)二1.2.3anaconda的安裝完成安裝任務(wù)二1.2.3anaconda的安裝依次點擊：桌面，點擊右下的window圖標(biāo)——系統(tǒng)——關(guān)于——高級系統(tǒng)設(shè)置——高級——環(huán)境變量——選中Path，點擊編輯。添加環(huán)境變量任務(wù)二1.2.3anaconda的安裝在windows的命令行下查看anaconda是否安裝成功：win+R然后輸入cmd進(jìn)入命令行?？吹桨姹咎柧驼f明安裝成功了。依次添加四個anaconda相關(guān)的變量使用anaconda任務(wù)二1.2.3anaconda的安裝pycharm能很方便的和anaconda管理的環(huán)境結(jié)合，打開Pycharm，在Setting——Project——ProjectInterpreter里面修改ProjectInterpreter,點擊齒輪標(biāo)志再點擊**Add…**添加你某個環(huán)境的python.exe解釋器就行了。anaconda鏈接Pycharm任務(wù)二1.2.3anaconda的安裝切換不同的環(huán)境，就是在對應(yīng)的環(huán)境中編程把對應(yīng)解釋器選擇出來，它下面的列表就是這個環(huán)境中的各種工具包（package)以及他們的版本（version）。添加完成任務(wù)二1.2.3anaconda的安裝任務(wù)小結(jié)Python開發(fā)環(huán)境系統(tǒng)要求Python的安裝PyCharm的安裝anaconda的安裝任務(wù)二搭建數(shù)據(jù)挖掘環(huán)境（1）打開PyCharm官方網(wǎng)站/pycharm/，如圖所示。（2）單擊圖中DOWNLOADNOW按鈕進(jìn)入下載頁面，如圖所示。任務(wù)二1.2.4Pycharm的安裝（3）單擊上圖中Professional版本下的DOWNLOAD按鈕進(jìn)行下載，下載完成后的文件名為pycharm-professional-2017.2.3.exe，雙擊該文件，進(jìn)入PyCharm安裝界面，如圖所示。任務(wù)二1.2.4Pycharm的安裝（4）單擊上圖中Next按鈕，進(jìn)入選擇安裝路徑界面，如圖所示。（5）單擊上圖中Next按鈕，進(jìn)入配置安裝界面，如圖所示。任務(wù)二1.2.4Pycharm的安裝（6）單擊上圖中Next按鈕，進(jìn)入選擇啟動菜單界面，如圖所示。（7）單擊上圖中Install按鈕，進(jìn)入安裝過程界面，如圖所示。任務(wù)二1.2.4Pycharm的安裝（8）安裝完成后的界面如圖所示，最后單擊Finish按鈕即可。任務(wù)二1.2.4Pycharm的安裝任務(wù)三運行第一個程序任務(wù)描述建好數(shù)據(jù)挖掘環(huán)境后，我們可以試著運行第一個程序。后期我們需要在次項目環(huán)境中對數(shù)據(jù)進(jìn)行采集、存儲、分析與挖掘，在此之前我們可以試著運行第一個程序。這就是我們完成的第3個任務(wù)：運行第一個程序。任務(wù)三1.3.1創(chuàng)建第一個項目（1）完成安裝后，進(jìn)入啟動界面，如圖所示。（2）啟動完成后:進(jìn)入初始化配置界面，如圖所示。（3）單擊圖中OK按鈕，進(jìn)入創(chuàng)建項目界面，如圖所示。任務(wù)三1.3.1創(chuàng)建第一個項目（4）單擊上圖中CreateNewProject按鈕，進(jìn)入項目設(shè)置界面，如圖所示。（5）單擊上圖中Create按鈕，進(jìn)入項目開發(fā)界面，如圖所示。任務(wù)三1.3.1創(chuàng)建第一個項目（6）右擊圖中的項目名稱，在彈出的快捷菜單中選擇New→PythonFile菜單項，如圖所示。（7）出現(xiàn)填寫文件名界面，如圖所示。任務(wù)三1.3.1創(chuàng)建第一個項目（8）在圖中輸入文件名“test”（或“test.py”，默認(rèn)創(chuàng)建.py文件）并單擊OK按鈕，則文件創(chuàng)建完成，如圖所示。任務(wù)三1.3.1創(chuàng)建第一個項目（1）點擊菜單欄

file-settings-projectinterpreter-任務(wù)三1.3.2Pycharm集成Anacconda（2）點擊add（3）選系統(tǒng)默認(rèn)的環(huán)境：(也就是Anaconda環(huán)境)，點擊ok即可任務(wù)三1.3.2Pycharm集成Anacconda（1）點擊上open按鈕，打開原先創(chuàng)建的test.py文件，如圖所示。任務(wù)三1.3.3運行第一個程序（3）在上圖中，在test.py文件編輯區(qū)寫入如圖所示的代碼。Print（“Helloworld!”）任務(wù)三1.3.3運行第一個程序（4）右擊圖中的test.py文件，在彈出的快捷菜單中選擇Run‘test’選項，如圖所示。任務(wù)三1.3.3運行第一個程序（