第1章 數(shù)據(jù)分析概述

商務(wù)數(shù)據(jù)分析概述1數(shù)據(jù)分析的流程目錄商務(wù)數(shù)據(jù)分析的基本概念2商務(wù)數(shù)據(jù)分析應(yīng)用場景3數(shù)據(jù)分析工具4小結(jié)5數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒▽?duì)收集來的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。隨著計(jì)算機(jī)技術(shù)的全面發(fā)展，企業(yè)生產(chǎn)、收集、存儲(chǔ)和處理數(shù)據(jù)的能力大大提高，數(shù)據(jù)量與日俱增。而在現(xiàn)實(shí)生活中，需要把這些繁多、嘈雜的數(shù)據(jù)運(yùn)用統(tǒng)計(jì)分析進(jìn)行萃取、提煉，以此研究出數(shù)據(jù)的發(fā)展規(guī)律，然后幫助企業(yè)管理層做出決策?；靖拍顝V義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用描述性統(tǒng)計(jì)和圖形可視化等分析方法，運(yùn)用對(duì)比分析、分組分析、交叉分析和回歸分析等分析策略，對(duì)收集來的數(shù)據(jù)進(jìn)行處理與分析，提取有價(jià)值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個(gè)針對(duì)不同統(tǒng)計(jì)量的統(tǒng)計(jì)結(jié)果的過程。數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，通過應(yīng)用聚類、分類、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價(jià)值的過程。數(shù)據(jù)分析概念圖中展示了廣義數(shù)據(jù)分析的主要內(nèi)容、分析方法、輸出結(jié)果和總體目標(biāo)。數(shù)據(jù)分析概念商務(wù)數(shù)據(jù)分析與一般的數(shù)據(jù)分析的不同之處在于，商務(wù)數(shù)據(jù)分析更為側(cè)重商業(yè)場景。商務(wù)數(shù)據(jù)分析需要結(jié)合內(nèi)外部數(shù)據(jù)深度剖析商業(yè)問題，基于具體的商業(yè)場景以及商業(yè)邏輯，使用數(shù)據(jù)作為原材料，對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的邏輯處理與結(jié)構(gòu)化處理。同時(shí)通過數(shù)據(jù)洞察商業(yè)問題，為企業(yè)戰(zhàn)略及商業(yè)決策提供數(shù)據(jù)支持。商務(wù)數(shù)據(jù)分析概念1數(shù)據(jù)分析的流程目錄數(shù)據(jù)分析的基本概念2商務(wù)數(shù)據(jù)分析應(yīng)用場景3數(shù)據(jù)分析工具4小結(jié)5數(shù)據(jù)分析已經(jīng)逐漸演化為一種解決問題的過程，甚至是一種方法論。雖然每個(gè)公司都會(huì)根據(jù)自身需求和目標(biāo)創(chuàng)建最適合的數(shù)據(jù)分析流程，但數(shù)據(jù)分析的核心步驟是一致的。數(shù)據(jù)分析的流程需求分析一詞來源于產(chǎn)品設(shè)計(jì)，主要是指從用戶提出的需求出發(fā)，探索用戶內(nèi)心的真實(shí)意圖，并轉(zhuǎn)化為產(chǎn)品需求的過程。產(chǎn)品設(shè)計(jì)的第一步就是需求分析，也是最關(guān)鍵的一步，因?yàn)樾枨蠓治鰶Q定了產(chǎn)品方向，錯(cuò)誤需求分析，會(huì)導(dǎo)致在產(chǎn)品實(shí)現(xiàn)過程中走入錯(cuò)誤方向，對(duì)企業(yè)造成損失。數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。數(shù)據(jù)分析中的需求分析主的要內(nèi)容是根據(jù)業(yè)務(wù)的需要，結(jié)合業(yè)務(wù)背景和現(xiàn)有的數(shù)據(jù)情況，提出的數(shù)據(jù)分析需求的整體分析方向、分析內(nèi)容，制定項(xiàng)目的分析目標(biāo)，最終和需求方達(dá)成一致意見。需求分析數(shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取、收集數(shù)據(jù)。數(shù)據(jù)來源主要有兩種，即網(wǎng)絡(luò)數(shù)據(jù)和本地?cái)?shù)據(jù)。網(wǎng)絡(luò)數(shù)據(jù)是指存儲(chǔ)在互聯(lián)網(wǎng)中的各類視頻、圖片、語音、文字等信息。本地?cái)?shù)據(jù)則是指存儲(chǔ)在本地?cái)?shù)據(jù)庫中的生產(chǎn)營銷財(cái)務(wù)等系統(tǒng)的數(shù)據(jù)。本地?cái)?shù)據(jù)按照數(shù)據(jù)時(shí)間又可以劃分為兩個(gè)類型：歷史數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)。歷史數(shù)據(jù)是指系統(tǒng)在運(yùn)行過程中，歷史遺存下來的數(shù)據(jù)，其數(shù)據(jù)量隨系統(tǒng)運(yùn)行時(shí)間增加而增長。實(shí)時(shí)數(shù)據(jù)是指最近一個(gè)單位時(shí)間周期（月、周、日、小時(shí)等）產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)獲取的常見方式有連接數(shù)據(jù)庫和讀取文件等，在數(shù)據(jù)分析過程中，具體使用哪種數(shù)據(jù)獲取方式，依據(jù)需求分析的結(jié)果而定。數(shù)據(jù)獲取探索性分析指的是指通過計(jì)算某些統(tǒng)計(jì)指標(biāo)、繪制圖表等手段，對(duì)樣本數(shù)據(jù)集的結(jié)構(gòu)和規(guī)律進(jìn)行分析的過程。對(duì)數(shù)據(jù)進(jìn)行探索性分析能夠掌握數(shù)據(jù)的基本情況，揭示數(shù)據(jù)的分布特征和分布類型，把握數(shù)據(jù)的趨勢和周期性，理解數(shù)據(jù)中蘊(yùn)含的相關(guān)性，同時(shí)也有助于選擇合適的數(shù)據(jù)預(yù)處理方法和建模方法。探索性分析數(shù)據(jù)預(yù)處理是指對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)變換和數(shù)據(jù)標(biāo)準(zhǔn)化，使得數(shù)據(jù)可以直接用于分析建模過程。數(shù)據(jù)合并可以將多張互相關(guān)聯(lián)的表格合并為一張表。數(shù)據(jù)清洗可以去掉數(shù)據(jù)中的重復(fù)、缺失、異常、不一致的數(shù)據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)化可以去除屬性間的量綱差異。數(shù)據(jù)變換則可以通過離散化、啞變量處理等技術(shù)滿足后期分析與建模的數(shù)據(jù)要求。在數(shù)據(jù)分析的過程中，數(shù)據(jù)預(yù)處理的各個(gè)過程互相交叉，并沒有明確的先后順序。數(shù)據(jù)預(yù)處理構(gòu)建模型是指通過回歸、聚類、分類、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，并得出結(jié)論的過程，構(gòu)建模型的方法按照目標(biāo)不同可以分為幾大類。如果分析目標(biāo)是描述客戶行為模式，可采用描述型數(shù)據(jù)分析方法，同時(shí)還可以考慮關(guān)聯(lián)規(guī)則、序列規(guī)則、聚類等模型。預(yù)測型數(shù)據(jù)分析就是量化未來一段時(shí)間內(nèi)，某個(gè)事件的發(fā)生概率。預(yù)測分析模型分為兩類，即分類預(yù)測和回歸預(yù)測。在常見的分類預(yù)測模型中，目標(biāo)屬性通常都是二元數(shù)據(jù)，例如，欺詐與否、流失與否、信用好壞等。在回歸預(yù)測模型中，目標(biāo)屬性通常都是連續(xù)型數(shù)據(jù)，常見的有股票價(jià)格預(yù)測和違約損失率預(yù)測等。構(gòu)建模型模型評(píng)價(jià)是指對(duì)已經(jīng)建立的一個(gè)或多個(gè)模型，根據(jù)其模型的類別，使用不同的指標(biāo)評(píng)價(jià)其性能優(yōu)劣的過程。常用的回歸模型的算法評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差、均方誤差、中值絕對(duì)誤差、可解釋方差值等。常用分類模型的評(píng)價(jià)指標(biāo)有準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1值（F1Value）、ROC和AUC等。常用的聚類模型評(píng)價(jià)指標(biāo)有ARI評(píng)價(jià)法（蘭德系數(shù)）、AMI評(píng)價(jià)法（互信息）、V-Measure評(píng)分、FMI評(píng)價(jià)法和輪廓系數(shù)等。模型評(píng)價(jià)應(yīng)用是指將通過了正式應(yīng)用數(shù)據(jù)分析的結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)中的過程。根據(jù)需求的不同，應(yīng)用階段可以是一份包含了對(duì)現(xiàn)狀具體整改措施的數(shù)據(jù)分析報(bào)告，也可以是將模型部署在生產(chǎn)系統(tǒng)中。在多數(shù)項(xiàng)目中，數(shù)據(jù)分析師提供的是一份數(shù)據(jù)分析報(bào)告或者一套解決方案，實(shí)際執(zhí)行與部署的是需求方。應(yīng)用1數(shù)據(jù)分析的流程目錄數(shù)據(jù)分析的基本概念2商務(wù)數(shù)據(jù)分析應(yīng)用場景3數(shù)據(jù)分析工具4小結(jié)5客戶分析（CustomerAnalytics）主要是對(duì)客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析。首先界定目標(biāo)客戶，根據(jù)客戶的需求、目標(biāo)客戶的性質(zhì)、所處行業(yè)的特征以及客戶的經(jīng)濟(jì)狀況等基本信息，使用統(tǒng)計(jì)分析方法和預(yù)測驗(yàn)證法分析目標(biāo)客戶，提高銷售效率。其次了解客戶的采購過程，對(duì)客戶采購類型和采購性質(zhì)進(jìn)行分類分析，從而制定不同的營銷策略。最后還可以根據(jù)已有的客戶特征，進(jìn)行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析、客戶收益分析。通過有效的客戶分析能夠掌握客戶具體行為特征，將客戶細(xì)分，使得運(yùn)營策略達(dá)到最優(yōu)，提升企業(yè)整體效益等?？蛻舴治鰻I銷分析（SalesandMarketingAnalytics）囊括了產(chǎn)品分析、價(jià)格分析、渠道分析、廣告與促銷分析這4類分析。產(chǎn)品分析主要是競爭產(chǎn)品分析，通過對(duì)競爭產(chǎn)品的分析制定自身產(chǎn)品策略。價(jià)格分析又可以分為成本分析和售價(jià)分析，成本分析的目的是降低不必要成本，售價(jià)分析的目的是制定符合市場的價(jià)格。渠道分析目的是指對(duì)產(chǎn)品的銷售渠道進(jìn)行分析，確定最優(yōu)的渠道配比。廣告與促銷分析則能夠結(jié)合客戶分析，實(shí)現(xiàn)銷量的提升，利潤的增加。營銷分析社交媒體分析（SocialMediaAnalytics）是以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實(shí)現(xiàn)不同社交媒體的用戶分析、訪問分析、互動(dòng)分析等。用戶分析主要根據(jù)用戶注冊(cè)信息、登錄平臺(tái)的時(shí)間點(diǎn)和平時(shí)發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個(gè)人畫像和行為特征。訪問分析是通過用戶平時(shí)訪問的內(nèi)容，分析用戶的興趣愛好，進(jìn)而分析潛在的商業(yè)價(jià)值?；?dòng)分析是根據(jù)互相關(guān)注對(duì)象的行為預(yù)測該對(duì)象未來的某些行為特征。同時(shí)，社交媒體分析還能為情感和輿情監(jiān)督提供豐富的資料。社交媒體分析對(duì)用戶行為進(jìn)行監(jiān)測，并對(duì)監(jiān)測獲取的數(shù)據(jù)進(jìn)行分析，可以幫助企業(yè)更為深入了解用戶的行為習(xí)慣，從而制定更為有效的策略。通過追蹤分析用戶的瀏覽路徑，分析用戶對(duì)于不同頁面和不同內(nèi)容的喜好程度，從而對(duì)網(wǎng)站結(jié)構(gòu)和內(nèi)容進(jìn)行調(diào)整優(yōu)化。通過分析用戶的瀏覽歷史，了解用戶的習(xí)慣和偏好，從而制定針對(duì)不同用戶的個(gè)性化推薦等。用戶行為分析網(wǎng)站是否盈利成為網(wǎng)站是否能生存下去的主要問題，唯有盈利之后，才能真正的穩(wěn)定發(fā)展。盈利是網(wǎng)站最初的運(yùn)營目標(biāo)，也網(wǎng)站運(yùn)營的核心目標(biāo)。圍繞盈利這個(gè)目標(biāo)對(duì)網(wǎng)站的運(yùn)營進(jìn)行市場化的調(diào)整，需要針對(duì)渠道、成本和收益3個(gè)方面進(jìn)行分析。渠道分析主要根據(jù)渠道的引流數(shù)、發(fā)布的推廣數(shù)等渠道數(shù)據(jù)分析渠道所能帶來的運(yùn)營效果。成本分析則是分析活動(dòng)的預(yù)估成本、實(shí)際成本等數(shù)據(jù)評(píng)估運(yùn)營的成本。收益分析則用參與人數(shù)、轉(zhuǎn)化率、評(píng)分等數(shù)據(jù)，從用戶、營收或者口碑等多種角度的收益評(píng)估運(yùn)營的效果。網(wǎng)站運(yùn)營分析身份信息泄露導(dǎo)致身份被盜用的事件發(fā)生率逐年增長，隨之而來的是欺詐行為和交易的增多。公安機(jī)關(guān)、各大金融機(jī)構(gòu)、電信部門可利用用戶基本信息、用戶交易信息、用戶通話短信信息等數(shù)據(jù)，識(shí)別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防未雨綢繆。以大型金融機(jī)構(gòu)為例，通過分類預(yù)測對(duì)非法集資和洗錢的邏輯路徑分析，找到其行為特征。聚類分析方法可以分析相似價(jià)格的運(yùn)動(dòng)模式，例如，對(duì)股票進(jìn)行聚類，可能發(fā)現(xiàn)關(guān)聯(lián)交易及內(nèi)幕交易的可疑信息，監(jiān)控多個(gè)用戶的關(guān)聯(lián)交易行為，為檢查跨賬號(hào)協(xié)同的金融詐騙行為提供依據(jù)。欺詐行為檢測1數(shù)據(jù)分析的流程目錄數(shù)據(jù)分析的基本概念2商務(wù)數(shù)據(jù)分析應(yīng)用場景3數(shù)據(jù)分析工具4小結(jié)5目前主流的數(shù)據(jù)分析語言有Python、R、MATLAB三種程序語言。Python具有豐富和強(qiáng)大的庫，它常被稱為膠水語言，能夠把用其他語言制作的各種模塊（尤其是C／C++）很輕松地連結(jié)在一起，是一門更易學(xué)，更嚴(yán)謹(jǐn)?shù)某绦蛟O(shè)計(jì)語言。R語言則是用于統(tǒng)計(jì)分析，繪圖的語言和操作環(huán)境，它是屬于GNU系統(tǒng)的一個(gè)自由、免費(fèi)、源代碼開放的軟件。MATLAB可進(jìn)行矩陣運(yùn)算、繪制函數(shù)與數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語言的程序等，主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號(hào)處理與通訊、圖像處理、信號(hào)檢測、金融建模設(shè)計(jì)與分析等領(lǐng)域。常用數(shù)據(jù)分析工具三種語言均可以進(jìn)行數(shù)據(jù)分析，下表從語言學(xué)習(xí)難易程度，使用場景，第三方支持，流行領(lǐng)域和軟件成本5方面比較Python、R、MATLAB三種數(shù)據(jù)分析工具。常用數(shù)據(jù)分析工具

PythonRMATLAB語言學(xué)習(xí)難易程度接口統(tǒng)一，學(xué)習(xí)曲線平緩接口眾多，學(xué)習(xí)曲線陡峭自由度大，學(xué)習(xí)曲線較為平緩使用場景數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、矩陣運(yùn)算、科學(xué)數(shù)據(jù)可視化、數(shù)字圖像處理、Web應(yīng)用、網(wǎng)絡(luò)爬蟲、系統(tǒng)運(yùn)維等統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、科學(xué)數(shù)據(jù)可視化等矩陣計(jì)算、數(shù)值分析、科學(xué)數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)、符號(hào)計(jì)算、數(shù)字圖像處理、數(shù)字信號(hào)處理、仿真模擬等第三方支持擁有大量的第三方庫，能夠簡便地調(diào)用C、C++、Fortran、Java等其他程序語言擁有大量的包，能夠調(diào)用C、C++、Fortran、Java等其他程序語言擁有大量專業(yè)的工具箱，在新版本中加入了對(duì)C、C++、Java的支持流行領(lǐng)域工業(yè)界＞學(xué)術(shù)界工業(yè)界≈學(xué)術(shù)界工業(yè)界≤學(xué)術(shù)界軟件成本開源免費(fèi)開源免費(fèi)商業(yè)收費(fèi)目前還出現(xiàn)了許多基于Python二次開發(fā)的開源平臺(tái)，如TipDM數(shù)據(jù)挖掘建模平臺(tái)。它是基于Python引擎、用于數(shù)據(jù)分析的開源平臺(tái)，采用B/S結(jié)構(gòu)，用戶不需要下載客戶端，可通過瀏覽器進(jìn)行訪問。平臺(tái)支持?jǐn)?shù)據(jù)分析所需的主要過程：探索性分析（相關(guān)性分析、主成分分析、周期性分析等）；數(shù)據(jù)預(yù)處理（特征構(gòu)造、記錄選擇、缺失值處理等）；構(gòu)建模型（聚類模型、分類模型、回歸模型等）；模型評(píng)價(jià)（R-Squared、混淆矩陣、ROC曲線等）。用戶可在沒有Python編程基礎(chǔ)的情況下，通過拖曳的方式進(jìn)行操作，將數(shù)據(jù)輸入輸出、數(shù)據(jù)預(yù)處理、挖掘建模、模型評(píng)估等環(huán)節(jié)通過流程化的方式進(jìn)行連接，以達(dá)到構(gòu)建數(shù)據(jù)分析全流程的目的。常用數(shù)據(jù)分析工具結(jié)合不同數(shù)據(jù)分析工具的對(duì)比，可以發(fā)現(xiàn)Python是一門應(yīng)用十分廣泛的計(jì)算機(jī)語言，在數(shù)據(jù)科學(xué)領(lǐng)域具有無可比擬的優(yōu)勢。Python正在逐漸成為數(shù)據(jù)科學(xué)領(lǐng)域的主流語言。Python數(shù)據(jù)分析主要包含以下5個(gè)方面優(yōu)勢。語法簡單精練，對(duì)于初學(xué)者來說，比起其他編程語言，Python更容易上手。有很強(qiáng)大的庫，結(jié)合在編程方面的強(qiáng)大實(shí)力，可以只使用Python這一種語言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。功能強(qiáng)大。從特性觀點(diǎn)來看，Python是一個(gè)混合體。豐富的工具集使它介于傳統(tǒng)的腳本語言和系統(tǒng)語言之間。Python不僅具備所有腳本語言簡單和易用的特點(diǎn)，還提供了在編譯語言中的高級(jí)軟件工程工具。Python數(shù)據(jù)分析的優(yōu)勢不僅適用于研究和原型構(gòu)建，同時(shí)也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具將會(huì)給企業(yè)帶來非常顯著的組織效益，并降低企業(yè)的運(yùn)營成本。Python是一門膠水語言。Python程序能夠以多種方式輕易地與其他語言的組件“粘接”在一起。例如，Python的C語言API可以幫助Python程序靈活地調(diào)用C程序。這意味著用戶可以根據(jù)需要給Python程序添加功能，或者在其他環(huán)境系統(tǒng)中使用Python。Python數(shù)據(jù)分析的優(yōu)勢NumPy是NumericalPython的簡稱，是一個(gè)Python科學(xué)計(jì)算的基礎(chǔ)包。NumPy主要提供了以下功能?？焖俑咝У亩嗑S數(shù)組對(duì)象ndarray。用于對(duì)數(shù)組執(zhí)行元素級(jí)的計(jì)算以及直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。用于讀寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具。線性代數(shù)運(yùn)算、傅里葉變換以及隨機(jī)數(shù)生成。用于將C、C++、Fortran代碼集成到Python的工具。Python數(shù)據(jù)分析常用類庫1.NumPy除了為Python提供快速的數(shù)組處理能力，NumPy在數(shù)據(jù)分析方面還有另外一個(gè)主要作用，即作為在算法支架傳遞數(shù)據(jù)的容器。對(duì)于數(shù)值型數(shù)據(jù)，NumPy數(shù)組在存儲(chǔ)和處理數(shù)據(jù)時(shí)要比內(nèi)置的Python數(shù)據(jù)結(jié)構(gòu)高效的多。此外，由低級(jí)語言（如C和Fortran）編寫的庫可以直接操作NumPy數(shù)組中數(shù)據(jù)，使用者無須進(jìn)行任何數(shù)據(jù)復(fù)制工作。Python數(shù)據(jù)分析常用類庫SciPy是一個(gè)基于Python的開源代碼，是一組專門解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問題域的模塊的集合，特別是與NumPy、Matplotlib、IPython、pandas這些核心包一起使用。對(duì)于不同子模塊有不同應(yīng)用，如插值、積分、優(yōu)化、圖像處理和特殊函數(shù)等。Python數(shù)據(jù)分析常用類庫2.SciPySciPy主要包含了8個(gè)模塊，每個(gè)模塊的內(nèi)容如下表所示。Python數(shù)據(jù)分析常用類庫模塊名稱簡介egrate數(shù)值積分例程和微分方程求解器scipy.linalg擴(kuò)展了由numpy.linalg提供的線性代數(shù)例程和矩陣分解功能scipy.optimize函數(shù)優(yōu)化器（最小化器）以及根查找算法scipy.signal信號(hào)處理工具scipy.sparse稀疏矩陣和稀疏線性系統(tǒng)求解器scipy.specialSPECFUN（這是一個(gè)實(shí)現(xiàn)了許多常用數(shù)學(xué)函數(shù)（如伽馬函數(shù)）的Fortran庫）的包裝器scipy.stats檢驗(yàn)連續(xù)和離散概率分布（如密度函數(shù)、采樣器、連續(xù)分布函數(shù)等），各種統(tǒng)計(jì)檢驗(yàn)方法，以及更好的描述統(tǒng)計(jì)法scipy.weave利用內(nèi)聯(lián)C++代碼加速數(shù)組計(jì)算的工具pandas是Python的數(shù)據(jù)分析核心庫，最初被作為金融數(shù)據(jù)分析工具而開發(fā)出來，因此pandas為時(shí)間序列分析提供了很好的支持。它提供了一系列能夠快速便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)。Python之所以成為強(qiáng)大而高效的數(shù)據(jù)分析環(huán)境與它息息相關(guān)。pandas兼具NumPy高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如MySQL）靈活的數(shù)據(jù)處理功能。它提供了復(fù)雜精細(xì)的索引功能，以便便捷地完成重塑、切片和切塊、聚合以及選取數(shù)據(jù)子集等操作。pandas將是本書中使用的主要工具。Python數(shù)據(jù)分析常用類庫3.pandasMatplotlib是最流行的用于繪制數(shù)據(jù)圖表的Python庫，是Python的2D繪圖庫。最初由約翰·D·亨特（JohnD.Hunter，JDH）創(chuàng)建，目前由一個(gè)龐大的開發(fā)人員團(tuán)隊(duì)維護(hù)。它非常適合創(chuàng)建出版物上用的圖表。Matplotlib操作比較容易，用戶只需幾行代碼即可生成直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形。Matplotlib提供了pylab的模塊