《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件 1.1.1 初識(shí)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘、Python、Anaconda

安裝Python搭建數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的編程環(huán)境任務(wù)描述Python擁有NumPy、pandas、Matplotlib和scikit-learn等功能齊全、接口統(tǒng)一的庫(kù)，能為數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)工作提供極大的便利。庫(kù)的管理和版本問(wèn)題，使得開(kāi)發(fā)人員并不能夠?qū)Ｗ⒂谘芯?，而是將大量的時(shí)間花費(fèi)在與環(huán)境配置相關(guān)的問(wèn)題上?；谏鲜鲈?，Anaconda發(fā)行版應(yīng)運(yùn)而生。任務(wù)要求安裝Anaconda。體驗(yàn)JupyterNotebook的基本功能。在體驗(yàn)Python的強(qiáng)大功能之前讓我們先來(lái)了解一下機(jī)器學(xué)習(xí)吧！初識(shí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)初識(shí)Python了解Python的Anaconda發(fā)行版初識(shí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的概念數(shù)據(jù)挖掘知識(shí)發(fā)現(xiàn)模式識(shí)別機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)人工智能統(tǒng)計(jì)學(xué)數(shù)據(jù)挖掘（DataMining，DM）是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)集中識(shí)別有效的、新穎的、潛在有用的信息的過(guò)程。機(jī)器學(xué)習(xí)（MachineLearning，ML）是一門(mén)多學(xué)科交叉專(zhuān)業(yè)，使用計(jì)算機(jī)作為工具并致力于真實(shí)實(shí)時(shí)的模擬人類(lèi)學(xué)習(xí)方式，并將現(xiàn)有內(nèi)容進(jìn)行知識(shí)結(jié)構(gòu)劃分來(lái)有效提高學(xué)習(xí)效率。初識(shí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景行業(yè)應(yīng)用教育智能輔導(dǎo)、個(gè)性化學(xué)習(xí)、智能化評(píng)估等醫(yī)療智能醫(yī)療設(shè)備、醫(yī)療圖像分析、健康監(jiān)測(cè)、醫(yī)療診斷等制造業(yè)智能物流、工業(yè)自動(dòng)化、質(zhì)量控制、圖像識(shí)別、自動(dòng)駕駛等金融風(fēng)險(xiǎn)管理、信用評(píng)估、自動(dòng)化交易等農(nóng)業(yè)自動(dòng)化噴灌系統(tǒng)、精準(zhǔn)農(nóng)業(yè)、智能化養(yǎng)殖等零售業(yè)智能化倉(cāng)儲(chǔ)、自動(dòng)化物流、智能客服等交通運(yùn)輸智能交通管理、自動(dòng)駕駛技術(shù)、智能公共交通等電力行業(yè)智能電網(wǎng)、能源管理、設(shè)備監(jiān)控等娛樂(lè)智能游戲、虛擬現(xiàn)實(shí)、智能化演出等社交網(wǎng)絡(luò)智能化推薦、情感分析、社交媒體管理、垃圾郵件過(guò)濾等數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)在許多領(lǐng)域都有應(yīng)用，包括在農(nóng)業(yè)、金融、制造業(yè)、醫(yī)療、教育、零售業(yè)、交通、建筑等領(lǐng)域。初識(shí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景初識(shí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的通用流程需求分析是數(shù)據(jù)分析環(huán)節(jié)的第一步，也是非常重要的一步，決定了后續(xù)的分析方向和方法。結(jié)合現(xiàn)有的數(shù)據(jù)情況，提出需求的整體分析方向、分析內(nèi)容，最終和需求方達(dá)成一致意見(jiàn)。數(shù)據(jù)獲取是數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取、收集數(shù)據(jù)。網(wǎng)絡(luò)數(shù)據(jù)是指存儲(chǔ)在互聯(lián)網(wǎng)中的各類(lèi)視頻、圖片、語(yǔ)音和文字等信息。歷史數(shù)據(jù)是指系統(tǒng)在運(yùn)行過(guò)程中遺存下來(lái)的數(shù)據(jù)，其數(shù)據(jù)量隨系統(tǒng)運(yùn)行時(shí)間的增加而增長(zhǎng)。實(shí)時(shí)數(shù)據(jù)是指最近一個(gè)單位時(shí)間周期（月、周、日、小時(shí)等）內(nèi)產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)變換，并直接用于分析建模的這一過(guò)程的總稱。數(shù)據(jù)合并可以將多張互相關(guān)聯(lián)的表格合并為一張；數(shù)據(jù)清洗可以去除重復(fù)、缺失、異常、不一致的數(shù)據(jù)；數(shù)據(jù)標(biāo)準(zhǔn)化可以去除特征間的量綱差異；數(shù)據(jù)變換則可以通過(guò)離散化、啞變量處理等技術(shù)滿足后期分析與建模的數(shù)據(jù)要求，貫徹高質(zhì)量發(fā)展精神。在數(shù)據(jù)分析的過(guò)程中，數(shù)據(jù)預(yù)處理的各個(gè)過(guò)程互相交叉，并沒(méi)有明確的先后順序。分析與建模是指通過(guò)可視化分析、回歸分析等分析方法，以及聚類(lèi)模型、分類(lèi)模型等模型，發(fā)現(xiàn)數(shù)據(jù)中有價(jià)值的信息，并得出結(jié)論的過(guò)程。分析與建模的方法按照目標(biāo)不同可以分為幾大類(lèi)。如果分析目標(biāo)是量化未來(lái)一段時(shí)間內(nèi)某個(gè)事件發(fā)生概率的，那么可以使用兩大預(yù)測(cè)分析模型，即回歸預(yù)測(cè)模型和分類(lèi)預(yù)測(cè)模型。如果分析目標(biāo)是描述客戶行為模式的，那么可以采用描述型數(shù)據(jù)分析方法，同時(shí)還可以考慮聚類(lèi)模型等。模型評(píng)價(jià)是指對(duì)于已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類(lèi)別，使用不同的指標(biāo)評(píng)價(jià)模型性能優(yōu)劣的過(guò)程。常用的回歸模型評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差、均方誤差、可解釋方差值等。常用的分類(lèi)模型評(píng)價(jià)指標(biāo)有準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、ROC等。常用的聚類(lèi)模型評(píng)價(jià)指標(biāo)有ARI評(píng)價(jià)法（蘭德系數(shù)）、AMI評(píng)價(jià)法（互信息）、FMI評(píng)價(jià)法和輪廓系數(shù)等。初識(shí)PythonPython概念Python是面向?qū)ο?、解釋型?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言，具有高效的高級(jí)數(shù)據(jù)結(jié)構(gòu)、簡(jiǎn)單高效的面向?qū)ο缶幊谭绞?。無(wú)論對(duì)于初學(xué)者，還是對(duì)于在科學(xué)計(jì)算領(lǐng)域具備一定經(jīng)驗(yàn)的工作者，它都極具吸引力。

為Python提供快速數(shù)組處理、數(shù)值運(yùn)算、繪圖scikit-learnSciPyMatplotlibPythonNumPy

包含分類(lèi)器實(shí)現(xiàn)、聚類(lèi)算法初識(shí)PythonPython在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的優(yōu)勢(shì)包括開(kāi)源工具和庫(kù)、易學(xué)易用、豐富的機(jī)器學(xué)習(xí)算法、靈活性以及龐大的社區(qū)支持。這些優(yōu)勢(shì)使得Python成為了數(shù)據(jù)科學(xué)領(lǐng)域中最受歡迎的編程語(yǔ)言之一。Python數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的優(yōu)勢(shì)

易學(xué)易用

大量的開(kāi)源工具和庫(kù)

豐富的機(jī)器學(xué)習(xí)算法

靈活性

社區(qū)支持初識(shí)PythonPython常用的開(kāi)發(fā)環(huán)境集成開(kāi)發(fā)環(huán)境是一種輔助程序開(kāi)發(fā)人員進(jìn)行開(kāi)發(fā)工作的應(yīng)用軟件，在開(kāi)發(fā)工具內(nèi)部即可輔助編寫(xiě)代碼，并編譯打包，使其成為可用的程序。集成開(kāi)發(fā)環(huán)境，提供智能提示、代碼自動(dòng)補(bǔ)全、調(diào)試等功能交互式開(kāi)發(fā)環(huán)境，支持文本、代碼、圖像等多種格式自帶的簡(jiǎn)單編輯器，易于入門(mén)，適用于小型腳本和初學(xué)者輕量級(jí)編輯器，支持多種語(yǔ)言和插件，可個(gè)性化配置，適用于快速開(kāi)發(fā)和小型項(xiàng)目科學(xué)計(jì)算環(huán)境，提供高級(jí)數(shù)學(xué)庫(kù)和可視化工具，適用于數(shù)據(jù)分析和科學(xué)計(jì)算初識(shí)PythonPython數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的常用庫(kù)常用庫(kù)庫(kù)的特點(diǎn)NumPy科學(xué)計(jì)算庫(kù)，提供高效的數(shù)值計(jì)算和數(shù)組操作Python是一個(gè)功能強(qiáng)大的編程語(yǔ)言，擁有豐富的數(shù)據(jù)分析、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)庫(kù)。這些庫(kù)不僅提供了各種數(shù)據(jù)分析和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)，還提供了可視化工具和數(shù)據(jù)處理函數(shù)，可以大大簡(jiǎn)化數(shù)據(jù)分析和建模的流程。Scikit-learn機(jī)器學(xué)習(xí)庫(kù)，提供各種經(jīng)典的機(jī)器學(xué)習(xí)算法和工具M(jìn)atplotlib繪圖庫(kù)，提供各種類(lèi)型的靜態(tài)圖表pandas數(shù)據(jù)處理庫(kù)，提供靈活的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具了解Python的Anaconda發(fā)行版Anaconda發(fā)行版Python預(yù)裝了150個(gè)以上的常用Packages，囊括了數(shù)據(jù)分析常用的NumPy、Matplotlib、pandas、scikit-learn庫(kù)，使得數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)人員能夠更加順暢、專(zhuān)注地使用Python解決數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)相關(guān)問(wèn)題。Python的Anaconda發(fā)行版主要有以下幾個(gè)特點(diǎn)。包含了眾多流行的科學(xué)、數(shù)學(xué)、工程和數(shù)據(jù)分析的Python庫(kù)。完全開(kāi)源。免費(fèi)使用，但額外的加速和優(yōu)化是收費(fèi)的，對(duì)于學(xué)術(shù)用途，可以申請(qǐng)免費(fèi)的License。全平臺(tái)支持Linu