Python數(shù)據(jù)分析基礎(chǔ)第1章數(shù)據(jù)分析概述課件

1、第1章 數(shù)據(jù)分析概述學(xué)習(xí)目標(biāo)： 了解數(shù)據(jù)、數(shù)據(jù)類型的基本概念。 了解數(shù)據(jù)分析的基本概念。 了解數(shù)據(jù)分析的過程。 了解數(shù)據(jù)分析的作用。 了解數(shù)據(jù)分析的常用工具。 所謂數(shù)據(jù)就是描述事物的符號(hào)，是對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號(hào)或者是這些物理符號(hào)的組合。在計(jì)算機(jī)系統(tǒng)中，各種文字、字母、數(shù)字符號(hào)的組合、圖形、圖像、視頻、音頻等統(tǒng)稱為數(shù)據(jù)，數(shù)據(jù)經(jīng)過加工后就成為信息。在現(xiàn)實(shí)生活中，數(shù)據(jù)無所不在，如天氣預(yù)報(bào)、居民身份證號(hào)碼、快遞單和火車時(shí)刻表中就包含了大量的數(shù)據(jù)。人們就是通過數(shù)據(jù)來認(rèn)識(shí)世界，交流信息。1.1.1 數(shù)據(jù)的概念 數(shù)據(jù)與信息是既有聯(lián)系，又有區(qū)別。數(shù)據(jù)是信息的表現(xiàn)形式和載體，而

2、信息則是數(shù)據(jù)的內(nèi)涵，信息是加載于數(shù)據(jù)之上，對(duì)數(shù)據(jù)作具體含義的解釋。數(shù)據(jù)是符號(hào)，是物理性的，信息是對(duì)數(shù)據(jù)進(jìn)行加工處理之后所得到的并對(duì)決策產(chǎn)生影響的數(shù)據(jù)，信息是數(shù)據(jù)有意義的表示。 當(dāng)信息轉(zhuǎn)化為一組有助于更好地理解特定機(jī)制的規(guī)則時(shí)，信息就已經(jīng)轉(zhuǎn)化為知識(shí)，人們就可以利用這些知識(shí)來預(yù)測(cè)事件的演變。1.1.1 數(shù)據(jù)的概念 1.1.2 數(shù)據(jù)類型 數(shù)據(jù)可以分為兩個(gè)不同的類別： 類別型：定類和定序。 數(shù)值型：離散和連續(xù)。 類別型數(shù)據(jù)是指可以被分成不同組或類別的值或觀察結(jié)果。有兩種類別型數(shù)據(jù)：定類（nominal）和定序（ordinal）。 數(shù)值型數(shù)據(jù)通過測(cè)量得到的數(shù)值或觀察結(jié)果。有兩種數(shù)值型數(shù)據(jù)：離散型和連續(xù)型

3、。1.2.1 數(shù)據(jù)分析的概念 數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來的大量原始數(shù)據(jù)進(jìn)行分析，為提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。數(shù)據(jù)分析的目的是抽取不易推斷的信息，而一旦理解了這些信息，就能夠?qū)Ξa(chǎn)生數(shù)據(jù)的系統(tǒng)的運(yùn)行機(jī)制進(jìn)行研究，從而對(duì)系統(tǒng)可能的響應(yīng)和演變作出預(yù)測(cè)。 數(shù)據(jù)分析最初用作數(shù)據(jù)保護(hù)，現(xiàn)已發(fā)展成為數(shù)據(jù)建模的方法論。模型實(shí)際上是指將所研究的系統(tǒng)轉(zhuǎn)化成數(shù)學(xué)形式，一旦建立了數(shù)學(xué)或邏輯模型，對(duì)系統(tǒng)的響應(yīng)能做出不同精度的預(yù)測(cè)。1.2.2 數(shù)據(jù)分析的過程數(shù)據(jù)分析可以概括為下面幾個(gè)階段：1. 問題定義2. 數(shù)據(jù)采集3. 數(shù)據(jù)預(yù)處理4. 數(shù)據(jù)探索5. 數(shù)據(jù)可視化6. 預(yù)測(cè)模型

4、7. 評(píng)估模型8. 部署解決方案1.2.2 數(shù)據(jù)分析的過程問題定義 在數(shù)據(jù)分析前，首先需要明確數(shù)據(jù)分析目標(biāo)，既本次數(shù)據(jù)分析要研究的主要問題和預(yù)期的分析目標(biāo)等，這稱為問題定義。2. 數(shù)據(jù)采集 問題定義步驟完成后，在分析數(shù)據(jù)之前，首先要做的就是獲取數(shù)據(jù)。數(shù)據(jù)的獲取方式有以下幾種： 利用SQL語句直接從企業(yè)管理數(shù)據(jù)庫(kù)中調(diào)取相關(guān)業(yè)務(wù)數(shù)據(jù)。 到特定的網(wǎng)站上去下載一些科研機(jī)構(gòu)、企業(yè)、政府開放的公開數(shù)據(jù)集。 編寫網(wǎng)頁爬蟲，去收集互聯(lián)網(wǎng)上的數(shù)據(jù)。1.2.2 數(shù)據(jù)分析的過程3. 數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理就是將數(shù)據(jù)采集所獲得的原始數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換后，將原始數(shù)據(jù)轉(zhuǎn)變?yōu)椤案蓛簟钡臄?shù)據(jù)。4. 數(shù)據(jù)探索 探索數(shù)

5、據(jù)的本質(zhì)是從圖形或統(tǒng)計(jì)數(shù)字中搜尋數(shù)據(jù)，以發(fā)現(xiàn)數(shù)據(jù)中的模式、聯(lián)系和關(guān)系。5. 數(shù)據(jù)可視化 數(shù)據(jù)可視化是獲得信息的最佳方式之一。通過視覺化呈現(xiàn)數(shù)據(jù)的方式，不僅能快速抓住要點(diǎn)信息，而且，還可以揭示通過簡(jiǎn)單統(tǒng)計(jì)不能觀察到的模式和結(jié)論。1.2.2 數(shù)據(jù)分析的過程6. 預(yù)測(cè)模型 預(yù)測(cè)模型是指用于預(yù)測(cè)的，用數(shù)學(xué)語言或公式所描述的事物間的數(shù)量關(guān)系。 模型主要有兩個(gè)方面的用途。 使用回歸模型來預(yù)測(cè)系統(tǒng)所產(chǎn)生數(shù)據(jù)的值。 使用分類模型或聚類模型為新數(shù)據(jù)分類。 根據(jù)輸出結(jié)果的類型，模型可分為以下三種。 分類模型：模型輸出結(jié)果為類別型。 回歸模型：模型輸出結(jié)果為數(shù)值型。 聚類模型：模型輸出結(jié)果為描述型。1.2.2 數(shù)據(jù)

6、分析的過程7. 評(píng)估模型 模型評(píng)估階段也就是測(cè)試階段，該階段是從整個(gè)數(shù)據(jù)分析的初始數(shù)據(jù)集中抽取出一部分用作驗(yàn)證集，并用驗(yàn)證集去評(píng)估使用先前采集的數(shù)據(jù)所創(chuàng)建的模型是否有效。一般來說，用于建模的數(shù)據(jù)稱為訓(xùn)練集，用于驗(yàn)證模型的數(shù)據(jù)稱為驗(yàn)證集。8. 部署解決方案 數(shù)據(jù)分析的最后一步是部署，旨在展示結(jié)果，也就是給出數(shù)據(jù)分析的結(jié)論，通常這個(gè)階段也稱為數(shù)據(jù)報(bào)告的撰寫。數(shù)據(jù)報(bào)告的撰寫應(yīng)詳細(xì)描述分析結(jié)果、決策部署、風(fēng)險(xiǎn)分析和商業(yè)影響評(píng)估。1.2.3 數(shù)據(jù)分析的作用 數(shù)據(jù)分析具有三大作用： 第一：現(xiàn)狀分析。所謂現(xiàn)狀有兩層含義，一層含義是指已經(jīng)發(fā)生的事情，另一層含義是指現(xiàn)在所發(fā)生的事情。通過對(duì)企業(yè)的基礎(chǔ)周報(bào)或月報(bào)分析，可了解企業(yè)的整體運(yùn)營(yíng)情況，發(fā)現(xiàn)企業(yè)經(jīng)營(yíng)中的問題，明確企業(yè)的現(xiàn)狀。 第二：原因分析。如果通過現(xiàn)狀分析，了解了企業(yè)存在著某種隱患，則需要去分析該隱患。了解該隱患為什么會(huì)存在？是如何產(chǎn)生的？ 第三：預(yù)測(cè)分析。在分析了現(xiàn)狀，也分析了原因后，就需要進(jìn)行預(yù)測(cè)分析。通過現(xiàn)在所掌握的數(shù)據(jù)，來預(yù)測(cè)未來發(fā)展的趨勢(shì)等。1.2.4 數(shù)據(jù)分析的常用工具 目前主流的數(shù)據(jù)分析語言有Python、R、MATLAB這3種。表1-1從語言學(xué)習(xí)難易程度、使用場(chǎng)景、第三方支持、流行領(lǐng)域和軟件成本5方面比較了Python、R、MATLAB這3種