ch08基于Python的數(shù)據(jù)導入與導出

基于Python的數(shù)據(jù)導入與導出新工科建設之路·數(shù)據(jù)科學與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第八章01PandasSeries是一種類似于數(shù)組的一維數(shù)據(jù)結(jié)構(gòu)，它包含一系列的元素及元素對應的標簽。元素的標簽被稱為index。使用Pandas的功能之前，需要先導入Pandas模塊。本章的Python代碼運行環(huán)境為IPython，版本是6.1.0，對應的Python版本為3.6.3。SeriesSeries對象輸出的左邊一列是索引（index），右邊一列是對應的元素值，最下面一行是元素的類型。由于代碼中創(chuàng)建Series對象時沒有指定index，默認創(chuàng)建的index是0~N-1的整數(shù)值，其中N是Series對象的元素個數(shù)。除了把Series看成一種類似于數(shù)組的數(shù)據(jù)結(jié)構(gòu)，還可以把它看成一種定長且有序的map，map的key是index，value是Series的元素值。因此，許多map的操作可以應用在Series上。SeriesSeries對象的index也可以通過賦值來改變。SeriesSeries對象是可變的，這意味著通過賦值能夠改變它。DataFrameDataFrame是一種帶標簽的二維數(shù)據(jù)結(jié)構(gòu)，有行索引、列索引，其中各列可以存儲不同的數(shù)據(jù)類型。為了幫助理解，可以將一個DataFrame對象想象為Excel中的一張表或數(shù)據(jù)庫中的一張表。DataFrame也可以看作Series的集合，DataFrame是Pandas中最常用的數(shù)據(jù)結(jié)構(gòu)。構(gòu)造一個DataFrame對象有多種方式，其中常用的一種方式是基于dict構(gòu)造。DataFrame的各列是有序排列的，可以在創(chuàng)建時傳遞columns參數(shù)調(diào)整順序，而index參數(shù)為每一行指定了一個index。columns參數(shù)中指定的列如果不存在，那么創(chuàng)建的DataFrame對象中的對應列值均為NaN，表示一個不可用的值。使用類似于獲取dict值的語法，能夠獲取DataFrame對象的一列，存放在Series對象中。DataFrame02文本文件的導入與導出CSV（CommaSeparatedValues，逗號分隔的值）.CSV文件是一種比較簡單的文本，廣泛用于存儲表格式的行列數(shù)據(jù)，可以直接使用Excel軟件打開。Pandas提供了read_csv函數(shù)，用于導入CSV文件，并得到一個DataFrame對象。此外，Pandas還提供了read_table函數(shù)，能夠?qū)胗闷渌指舴念怌SV文件。在IPython中，可以使用！語法運行外部命令。cat是Linux上的一個命令，用于將文件內(nèi)容顯示在屏幕上，在Windows環(huán)境下可以用type命令顯示文件。導入CSV文件可以使用read_csv函數(shù)將文件內(nèi)容讀入一個DataFrame對象。Pandas還提供另外一個函數(shù)read_table函數(shù)，可以用于讀入CSV文件。testl.csv文件的第一行指定了各列的名稱，但是很多時候CSV文件沒有這樣的名稱行。導入CSV文件Pandas也提供了反向的操作，能夠?qū)ataFrame導出為CSV格式的文件。read_csv函數(shù)的返回值是一個DataFrame對象，它具有to_csv方法，能夠達到導出的目的。導出CSV文件DataFrame中的缺失值默認使用空字符串，narep參數(shù)可以改變這一行為。to_csv的默認行為會輸出index列和標題行，如果不希望輸出這些，可以將index和header均設置為False。如果不希望輸出所有列，可以使用columns參數(shù)選擇只輸出一部分。導出CSV文件JSON格式數(shù)據(jù)的導入與導出JSON（JavaScriptObjeetNotation，JS對象簡譜）格式在Web中使用非常廣泛，常用于前端網(wǎng)頁的JavaScript腳本和后端Web服務器交換數(shù)據(jù)。與表格型的數(shù)據(jù)相比，JSON格式的數(shù)據(jù)更加復雜和靈活，能夠表達類似于樹結(jié)構(gòu)的數(shù)據(jù)?，F(xiàn)存多種庫和工具用于JSON格式數(shù)據(jù)的處理。對常規(guī)的任務，使用Python語言內(nèi)置的JSON模塊是最方便的。在使用JSON模塊之前應先導入它。JSON模塊的load函數(shù)能夠?qū)隞SON數(shù)據(jù)，返回值是一個dict對象。JSON模塊的dump函數(shù)提供了反向的功能，將一個dict對象導出為JSON格式的文件。JSON格式數(shù)據(jù)的導入與導出03Excel文件的導入與導出Excel是微軟的經(jīng)典之作，在日常工作中的數(shù)據(jù)整理、分析和可視化方面，有其獨到的優(yōu)勢。但如果數(shù)據(jù)量超大，Excel的劣勢也就隨之而來，甚至因為內(nèi)存溢出無法打開文件，后續(xù)的分析更是難上加難。本節(jié)介紹使用Python的Pandas解決此問題，即通過Pandas完成讀/寫Excel。Excel文件的導入與導出Pandas會默認讀取Excel文件中的第1個工作表，也就是默認名為Sheetl的工作表。Excel文件的導入與導出Pandas讀取Excel可以通過readexcel函數(shù)將工作表讀取成DataFrame。04數(shù)據(jù)庫的導入與導出將關(guān)系數(shù)據(jù)庫的表格數(shù)據(jù)導入成Pandas的DataFrame并不難理解。Pandas連接關(guān)系數(shù)據(jù)庫需要Python連接對應數(shù)據(jù)庫的客戶端，以MySQL數(shù)據(jù)庫為例，Python連接它的庫有幾種，最常用的是PyMySQL，用戶可以通過pip或者Anaconda方式進行安裝。關(guān)系數(shù)據(jù)庫的導入與導出非關(guān)系數(shù)據(jù)庫（NoSQL）具有多種多樣的存儲方式和產(chǎn)品實現(xiàn)。其中，MongoDB是一種廣泛使用的NoSQL。本節(jié)以MongoDB為例進行講述。MongoDB的基本存儲單元是一種類似于dict的對象。類似于常見的關(guān)系數(shù)據(jù)庫，MongoDB采用了客戶-服務器架構(gòu)，作為用戶，首先需要建立與服務端的連接。這里使用PyMongo（包）與MongoDB服務端進行交互，這是MongoDB官方提供的模塊，用戶可以通過pip或者Anac