Python數據分析與可視化-課件

數據分析理論與Python實戰(zhàn)第一章數據分析是什么目錄海量數據背后蘊藏的知識數據分析與數據挖掘的關系機器學習與數據分析的關系數據分析的基本步驟Python和數據分析海量數據背后蘊藏的知識數據蘊含了大量知識規(guī)律可用于解釋當前發(fā)生的事情預測未來的情況對象數據觀察現象歸納總結規(guī)律海量數據背后蘊藏的知識數據分析的意義各行各業(yè)每天都在產生和收集大量數據2012年的微博日發(fā)量：4億條Twitter的信息量每年翻番增長需要從海量數據中獲得有價值的信息輔助決策了解客戶偏好，設計受歡迎的產品制定合適價格，確保利潤同時保證市場了解市場需求，調整生產計劃數據分析與數據挖掘的關系統(tǒng)計分析的含義在已定假設、先驗約束上，對數據進行整理、篩選和加工，并得到信息的過程數據挖掘的含義在數據分析得到信息的基礎上進一步獲得認知，轉為有效的預測和決策數據分析=統(tǒng)計分析+數據挖掘統(tǒng)計分析：數據預處理階段數據挖掘：知識發(fā)現階段數據信息統(tǒng)計分析數據挖掘知識機器學習與數據分析的關系機器學習的含義利用經驗來改善計算機系統(tǒng)自身的性能數據分析的含義識別出巨量數據中有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，即從海量數據中找到有用的知識兩者之間的關系“經驗”在計算機系統(tǒng)中主要以數據形式存在，因此機器學習需要對數據進行分析數據分析過程主要利用機器學習界提供的技術來分析海量數據數據分析的基本步驟數據收集數據預處理數據分析與知識發(fā)現數據后處理數據分析的基本步驟數據收集大數據時代的數據收集過程，得到的數據特點是大量、冗余、體量大但是信息量少如何從這樣的數據中提取出信息的過程是目前數據分析的重點和難點數據分析的基本步驟數據預處理將數據轉化為信息主要步驟包括對數據進行初步的統(tǒng)計方面的分析，得到數據的基本檔案從數據的一致性、完整性、準確性以及及時性四個方面進行數據質量分析根據發(fā)現的數據質量的問題對數據進行清洗，包括缺失值處理、噪聲處理等對其進行特征抽取為后續(xù)的數據分析工作做準備數據分析的基本步驟數據分析與知識發(fā)現將預處理后的數據進行進一步的分析，完成信息到認知的過程方法分類有監(jiān)督學習：分類分析、關聯(lián)分析、回歸分析無監(jiān)督學習：聚類分析、異常檢測數據后處理主要包括提供數據給決策支撐系統(tǒng)、進行數據可視化等方面Python和數據分析專用于實驗性數據分析或者領域特定語言包括R語言MatlabSasSpssPython和數據分析Python語言相比上述語言的優(yōu)勢在于Python是面向生產的大部分數據分析過程需要首先進行實驗性研究和原型構建，再移植到生產系統(tǒng)中Python適用于原型構建，且能夠直接將分析程序運用到生產系統(tǒng)中上述語言無法直接用于生產，需要使用C/C++等語言對算法再次進行實現Python和數據分析Python語言相比上述語言的優(yōu)勢在于擁有強大的第三方庫支持Python的強大功能依賴于第三方庫實現常用數據分析庫包括Numpy、Scipy、Pandas、Scikit-learn、Matplotlib等Python的膠