python數(shù)據(jù)分析概述課件講義

Itisapplicabletoworkreport,lectureandteachingPython數(shù)據(jù)分析概述1熟悉Python數(shù)據(jù)分析的工具安裝Python的Anaconda發(fā)行版掌握JupyterNotebook常用功能目錄認識數(shù)據(jù)分析234廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對比分析、分組分析、交叉分析和回歸分析等分析方法，對收集來的數(shù)據(jù)進行處理與分析，提取有價值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個特征統(tǒng)計量結(jié)果的過程。數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，通過應(yīng)用聚類、分類、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價值的過程。數(shù)據(jù)分析的概念數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。數(shù)據(jù)獲?。簲?shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。數(shù)據(jù)預處理：數(shù)據(jù)預處理是指對數(shù)據(jù)進行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標準化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過程的總稱。分析與建模：分析與建模是指通過對比分析、分組分析、交叉分析、回歸分析等分析方法和聚類、分類、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價值信息，并得出結(jié)論的過程。模型評價與優(yōu)化：模型評價是指對已經(jīng)建立的一個或多個模型，根據(jù)其模型的類別，使用不同的指標評價其性能優(yōu)劣的過程。部署：部署是指將通過了正式應(yīng)用數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實際生產(chǎn)系統(tǒng)的過程。數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程主要是客戶的基本數(shù)據(jù)信息進行商業(yè)行為分析，首先界定目標客戶，根據(jù)客戶的需求，目標客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟狀況等基本信息使用統(tǒng)計分析方法和預測驗證法，分析目標客戶，提高銷售效率。其次了解客戶的采購過程，根據(jù)客戶采購類型、采購性質(zhì)進行分類分析制定不同的營銷策略。最后還可以根據(jù)已有的客戶特征，進行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益分析。了解數(shù)據(jù)分析應(yīng)用場景1.客戶分析產(chǎn)品分析主要是競爭產(chǎn)品分析，通過對競爭產(chǎn)品的分析制定自身產(chǎn)品策略。價格分析又可以分為成本分析和售價分析，成本分析的目的是降低不必要成本，售價分析的目的是制定符合市場的價格。渠道分析目的是指對產(chǎn)品的銷售渠道進行分析，確定最優(yōu)的渠道配比。廣告與促銷分析則能夠結(jié)合客戶分析，實現(xiàn)銷量的提升，利潤的增加。了解數(shù)據(jù)分析應(yīng)用場景2.營銷分析：囊括了產(chǎn)品分析，價格分析，渠道分析，廣告與促銷分析這四類分析。以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實現(xiàn)不同社交媒體的用戶分析，訪問分析，互動分析等。同時，還能為情感和輿情監(jiān)督提供豐富的資料。用戶分析主要根據(jù)用戶注冊信息，登錄平臺的時間點和平時發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個人畫像和行為特征。訪問分析則是通過用戶平時訪問的內(nèi)容，分析用戶的興趣愛好，進而分析潛在的商業(yè)價值?；臃治龈鶕?jù)互相關(guān)注對象的行為預測該對象未來的某些行為特征。了解數(shù)據(jù)分析應(yīng)用場景3.社交媒體分析新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識別分析模型，監(jiān)測大量網(wǎng)絡(luò)活動數(shù)據(jù)和相應(yīng)的訪問行為，識別可能進行入侵的可疑模式，做到未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景4.網(wǎng)絡(luò)安全通過物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設(shè)備管理模型，從而預測設(shè)備故障，合理安排預防性的維護，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來的安全風險。了解數(shù)據(jù)分析應(yīng)用場景5.設(shè)備管理

RPythonMATLAB語言學習難易程度入門難度低入門難度一般入門難度一般使用場景數(shù)據(jù)分析，數(shù)據(jù)挖掘，機器學習，數(shù)據(jù)可視化等。數(shù)據(jù)分析，機器學習，矩陣運算，科學數(shù)據(jù)可視化，數(shù)字圖像處理，web應(yīng)用，網(wǎng)絡(luò)爬蟲，系統(tǒng)運維等。矩陣計算，數(shù)值分析，科學數(shù)據(jù)可視化，機器學習，符號計算，數(shù)字圖像處理，數(shù)字信號處理，仿真模擬等。第三方支持擁有大量的Packages，能夠調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語言。擁有大量的第三方庫，能夠簡便地調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語言。擁有大量專業(yè)的工具箱，在新版本中加入了對C，C++，Java的支持。流行領(lǐng)域工業(yè)界≈學術(shù)界工業(yè)界＞學術(shù)界工業(yè)界≤學術(shù)界軟件成本開源免費開源免費商業(yè)收費了解數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語言有R，Python，MATLAB三種程序語言。物流是物品從供應(yīng)地向接收地的實體流動。通過業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對于客戶使用數(shù)據(jù)構(gòu)建交通狀況預測分析模型，有效預測實時路況、物流狀況、車流量、客流量和貨物吞吐量，進而提前補貨，制定庫存管理策略。了解數(shù)據(jù)分析應(yīng)用場景6.交通物流分析身份信息泄露盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機關(guān)，各大金融機構(gòu)，電信部門可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識別可能發(fā)生的潛在欺詐交易，做到提前預防未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景7.欺詐行為檢測安裝Python的Anaconda發(fā)行版掌握JupyterNotebook常用功能目錄341熟悉Python數(shù)據(jù)分析的工具認識數(shù)據(jù)分析2語法簡單精練。對于初學者來說，比起其他編程語言，Python更容易上手。有很強大的庫?？梢灾皇褂肞ython這一種語言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。功能強大。Python是一個混合體，豐富的工具集使它介于傳統(tǒng)的腳本語言和系統(tǒng)語言之間。Python不僅具備所有腳本語言簡單和易用的特點，還提供了編譯語言所具有的高級軟件工程工具。不僅適用于研究和原型構(gòu)建，同時也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具，會給企業(yè)帶來非常顯著的組織效益，并降低企業(yè)的運營成本。Python是一門膠水語言。Python程序能夠以多種方式輕易地與其他語言的組件“粘接”在一起。了解Python數(shù)據(jù)分析的優(yōu)勢Python數(shù)據(jù)分析主要包含以下5個方面優(yōu)勢是一個增強的Pythonshell，目的是提高編寫、測試、調(diào)試Python代碼的速度。主要用于交互式數(shù)據(jù)并行處理，是分布式計算的基礎(chǔ)架構(gòu)。提供了一個類似于Mathematica的HTML筆記本，一個基于Qt框架的GUI控制臺，具有繪圖、多行編輯以及語法高亮顯示等功能。了解Python數(shù)據(jù)分析常用類庫1．IPython——科學計算標準工具集的組成部分快速高效的多維數(shù)組對象ndarray。對數(shù)組執(zhí)行元素級的計算以及直接對數(shù)組執(zhí)行數(shù)學運算的函數(shù)。讀寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具。線性代數(shù)運算、傅里葉變換，以及隨機數(shù)生成的功能。將C、C++、Fortran代碼集成到Python的工具。了解Python數(shù)據(jù)分析常用類庫2．NumPy(NumericalPython)——

Python科學計算的基礎(chǔ)包SciPy主要包含了8個模塊，不同的子模塊有不同的應(yīng)用，如插值、積分、優(yōu)化、圖像處理和特殊函數(shù)等。egrate數(shù)值積分例程和微分方程求解器scipy.linalg擴展了由numpy.linalg提供的線性代數(shù)例程和矩陣分解功能scipy.optimize函數(shù)優(yōu)化器（最小化器）以及根查找算法scipy.signal信號處理工具scipy.sparse稀疏矩陣和稀疏線性系統(tǒng)求解器scipy.specialSPECFUN（這是一個實現(xiàn)了許多常用數(shù)學函數(shù)的Fortran庫）的包裝器scipy.stats檢驗連續(xù)和離散概率分布、各種統(tǒng)計檢驗方法，以及更好的描述統(tǒng)計法scipy.weave利用內(nèi)聯(lián)C++代碼加速數(shù)組計算的工具了解Python數(shù)據(jù)分析常用類庫3．SciPy——專門解決科學計算中各種標準問題域的模塊的集合提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。高性能的數(shù)組計算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如SQL）靈活的數(shù)據(jù)處理功能。復雜精細的索引功能，以便便捷地完成重塑、切片和切塊、聚合及選取數(shù)據(jù)子集等操作。了解Python數(shù)據(jù)分析常用類庫4．Pandas——數(shù)據(jù)分析核心庫Python的2D繪圖庫，非常適合創(chuàng)建出版物上用的圖表。操作比較容易，只需幾行代碼即可生成直方圖、功率譜圖、條形圖、錯誤圖和散點圖等圖形。提供了pylab的模塊，其中包括了NumPy和pyplot中許多常用的函數(shù)，方便用戶快速進行計算和繪圖。交互式的數(shù)據(jù)繪圖環(huán)境，繪制的圖表也是交互式的。了解Python數(shù)據(jù)分析常用類庫5．Matplotlib——繪制數(shù)據(jù)圖表的Python庫簡單有效，可以供用戶在各種環(huán)境下重復使用。封裝了一些常用的算法方法?；灸K主要有數(shù)據(jù)預處理、模型選擇、分類、聚類、數(shù)據(jù)降維和回歸6個，在數(shù)據(jù)量不大的情況下，scikit-learn可以解決大部分問題。了解Python數(shù)據(jù)分析常用類庫6．scikit-learn——數(shù)據(jù)挖掘和數(shù)據(jù)分析工具提供高級的代碼編輯、交互測試和調(diào)試等特性。包含數(shù)值計算環(huán)境?？捎糜趯⒄{(diào)試控制臺直接集成到圖形用戶界面的布局中。模仿MATLAB的“工作空間”，可以很方便地觀察和修改數(shù)組的值。了解Python數(shù)據(jù)分析常用類庫7．Spyder——交互式Python語言開發(fā)環(huán)境掌握JupyterNotebook常用功能目錄41認識數(shù)據(jù)分析安裝Python的Anaconda發(fā)行版3熟悉Python數(shù)據(jù)分析的工具2預裝了大量常用Packages。完全開源和免費。額外的加速和優(yōu)化是收費的，但對于學術(shù)用途，可以申請免費的License。對全平臺和幾乎所有Python版本支持。了解Python的Anaconda發(fā)行版Anaconda安裝包——“next”——“Iagree”——“AllUsers(requiresadminprivileges)”——選擇安裝路徑——“Install”——“finish”。在Windows系統(tǒng)上安裝Anaconda安裝流程目錄1認識數(shù)據(jù)分析熟悉Python數(shù)據(jù)分析的工具2安裝Python的Anaconda發(fā)行版3掌握JupyterNotebook常用功能4掌握JupyterNotebook的基本功能打開并新建一個Notebook打開JupyterNotebook“TextFile”為純文本型“Folder”為文件夾“Python3”表示Python運行腳本選擇”Python3”選項，進入Python腳本編輯界面，Notebook文檔由一系列單元（Cell）構(gòu)成，主要有兩種形式的單元。掌握JupyterNotebook的基本功能JupyterNotebook的界面及其構(gòu)成代碼單元。這里是讀者編寫代碼的地方。Markdown單元。在這里對文本進行編輯。編輯模式：用于編輯文本和代碼。掌握JupyterNotebook的基本功能編輯界面命令模式：用于執(zhí)行鍵盤輸入的快捷命令?！癊sc”鍵：進入命令模式“Y”鍵：切換到代碼單元“M”鍵：切換到Markdown單元“B”鍵：在本單元的下方增加一單元“H”鍵：查看所有快捷命令“Shift＋Enter”組合鍵：運行代碼掌握JupyterNotebook的基本功能快捷鍵Markdown是一種可以使用普通文本編輯器編寫的標記語言，通過簡單的標記語法，它可以使普通文本內(nèi)容具有一定的格式。標題：標題是標明文章和作品等內(nèi)容的簡短語句。一個“#”字符代表一級標題，以此類推。掌握JupyterNotebook的高級功能1．Markdown列表：列表是一種由數(shù)據(jù)項構(gòu)成的有限序列，即按照一定的線性順序排列而成的數(shù)據(jù)項的集合。對于無序列表，使用星號、加號或者減號作為列表標記對于有序列表，則是使用數(shù)字“，”“（一個空格）”。掌握JupyterNotebook的高級功能1．Mar