ch09基于Python 的數(shù)據(jù)整理

基于Python的數(shù)據(jù)整理新工科建設(shè)之路·數(shù)據(jù)科學與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第九章01合并多個數(shù)據(jù)集join操作用于合并數(shù)據(jù)集，按照一個或多個特定的鍵來連接相關(guān)的行。在關(guān)系數(shù)據(jù)庫中，連接操作處于中心的位置。Pandas提供了merge函數(shù)，可以對數(shù)據(jù)集進行類似于數(shù)據(jù)庫連接的操作。使用鍵進行DataFrame合并有些時候，我們設(shè)置rightindex參數(shù)為True，使用index作為鍵進行合并。默認的合并操作使用的是innerjoin，通過傳遞how參數(shù)可以改為outerjoin。使用index進行DataFrame合并在Pandas中存在一個eoncat函數(shù)，用于實現(xiàn)類串接操作。和NumPy相比，Pandas的串接操作更復雜、更通用。下面用一些例子說明Pandas的concat函數(shù)用法。沿著橫軸或縱軸串接還有一種數(shù)據(jù)合并的方式被稱為串接。例如，NumPy的concatenate函數(shù)用于串接NumPy的原生數(shù)組。在Series對象上調(diào)用concat函數(shù)，將它們的數(shù)據(jù)串接起來。串接在一起的數(shù)據(jù)包括index和數(shù)據(jù)本身。在默認情況下，concat函數(shù)的axis參數(shù)取值為0，表示沿著縱軸串接，生成一個新的Series對象。如果傳遞axis=1，意味著沿著橫軸串接，那么結(jié)果將得到一個新的DataFrame對象。通過傳遞join參數(shù)，可以使用innerjoin的連接方式。沿著橫軸或縱軸串接沿著橫軸或縱軸串接concat函數(shù)也可以應用在DataFrame對象上。例如，下面的dfl和df2是兩個DataFrame對象。沿著橫軸或縱軸串接使用concat函數(shù)將它們串接起來。02數(shù)據(jù)重塑數(shù)據(jù)重塑數(shù)據(jù)重塑表示轉(zhuǎn)換輸入數(shù)據(jù)的結(jié)構(gòu)，使其適合后續(xù)的分析。Pandas包含了一些用于重塑數(shù)據(jù)的基礎(chǔ)操作，這些操作用于二維度表格數(shù)據(jù)。本節(jié)將介紹其中廣泛使用的stack、unstack及pivot操作。Pandas的DataFrame可以設(shè)置多級索引。對多級索引數(shù)據(jù)，Pandas的stack方法將數(shù)據(jù)集的列旋轉(zhuǎn)為行，而unstack方法將數(shù)據(jù)的行旋轉(zhuǎn)為列。圖9-1形象地展示了Stacked和Unstack過程。多級索引數(shù)據(jù)的重塑多級索引數(shù)據(jù)的重塑多級索引數(shù)據(jù)的重塑接下來使用具體的代碼來演示相關(guān)的過程?？捎萌缦麓a定義表格數(shù)據(jù)。多級索引數(shù)據(jù)的重塑在上面的數(shù)據(jù)集上運行stack方法，將列旋轉(zhuǎn)為行，將會產(chǎn)生一個Series對象。多級索引數(shù)據(jù)的重塑相反地，在一個具有多級索引的Series對象上，應用unstack方法可以將它轉(zhuǎn)換回一個DataFrame對象。多級索引數(shù)據(jù)的重塑在默認情況下，stack和unstack轉(zhuǎn)換的是最內(nèi)層級別的索引，通過傳遞一個級別的編號或者名稱，可以指定要轉(zhuǎn)換的級別。針對上面的例子，下面用兩種方式指定不同的級別。多時間序列的數(shù)據(jù)通常以“長格式”（或“堆疊格式”）存儲在數(shù)據(jù)庫或者CSV文件中?？傊?，它結(jié)合了year和quarter列來創(chuàng)建一種時間間隔類型。應用pivot方法重塑數(shù)據(jù)關(guān)系數(shù)據(jù)庫（如MySQL）中的數(shù)據(jù)就是這樣存儲的，因為固定架構(gòu)（列名和數(shù)據(jù)類型）有一個好處：隨著表中數(shù)據(jù)的增加，item列中的值的種類也增加。在前面的例子中，date和item通常就是主鍵（用關(guān)系數(shù)據(jù)庫的說法），不僅提供了關(guān)系完整性，而且提供了更為簡單的查詢支持。有時使用這樣的數(shù)據(jù)會很麻煩，用戶可能更喜歡DataFrame，不同的item值分別形成一列，date列中的時間戳則用作索引。應用pivot方法重塑數(shù)據(jù)03數(shù)據(jù)轉(zhuǎn)換9.2節(jié)已經(jīng)介紹了數(shù)據(jù)的重塑。另一類重要操作則是數(shù)據(jù)的過濾、清理及其他的轉(zhuǎn)換工作。重復行出現(xiàn)在DataFrame中可能有多種原因。移除重復數(shù)據(jù)對很多數(shù)據(jù)集而言，我們希望根據(jù)數(shù)組、Series或者DataFrame中的某列值來進行轉(zhuǎn)換操作。來看看下面這組有關(guān)公司、城市及體量的數(shù)據(jù)，我們希望看到這些公司來自哪些城市，先編寫一個不同公司到城市的映射，Series的map方法可以接受一個函數(shù)或含有映射關(guān)系的字典型對象。利用函數(shù)或映射進行數(shù)據(jù)轉(zhuǎn)換值轉(zhuǎn)換利用fillna方法填充缺失數(shù)據(jù)，可以看作值替換的一種特殊情況。map可用于修改對象的數(shù)據(jù)子集，而replace則提供了一種實現(xiàn)該功能的更簡單、更靈活的方式。與Series中的值一樣，軸標簽也可以通過函數(shù)或映射轉(zhuǎn)換，得到一個不同標簽的新對象。軸還能夠被就地修改，無須新建一個數(shù)據(jù)結(jié)構(gòu)。rename方法可以復制DataFrame并對其索引和列標簽進行賦值。如果希望就地修改某個數(shù)據(jù)集，只需傳入inplace=True即可。重命名軸索引連續(xù)數(shù)據(jù)常常被離散化或拆分為“面元（bin）”來幫助分析。假設(shè)在一項研究中有一組人員數(shù)據(jù)，用戶希望將它們劃分為不同的年齡組。離散化和面元劃分pd.value_counts（groups）是pandas.cut結(jié)果的面元計數(shù)。與“區(qū)間”的數(shù)學符號一樣，圓括號表示開端，而方括號則表示閉端。修改默認情況可以通過right=False設(shè)置。離散化和面元劃分Pandas返回一個特殊的Categories對象。用戶可以把它當作一組表示面元名稱的字符串。它的內(nèi)部包含一個表示不同分類名稱的數(shù)組，以及一個codes屬性中的年齡數(shù)據(jù)的標簽。檢測或過濾異常值（outlier）在很大程度上是運用數(shù)組運算的。使用numpy.random.permutation函數(shù)能夠輕松對Series或DataFrame的列進行排序。通過排列的軸的長度調(diào)用numpy.random.permutation函數(shù)，可產(chǎn)生一個表示新順序的整數(shù)數(shù)組。該數(shù)組可以使用基于iloc的索引或等價的take函數(shù)進行操作。排列和隨機采樣將分類變量轉(zhuǎn)換為“虛擬”或“指示”的矩陣是用于統(tǒng)計建?；驒C器學習的一種轉(zhuǎn)換方式。如果DataFrame的某一列包含k個不同的值，我們可以派生出一個值均為1或O的k列矩陣。Pandas的get_dummies函數(shù)可以實現(xiàn)該功能。計算指標/啞變量計算指標/啞變量關(guān)于DataFrame的例子如下:計算指標/啞變量在某些案例中，用戶給指標DataFrame的列加上一個前綴，用于與其他數(shù)據(jù)進行合并，get

dummies的prefix參數(shù)能夠?qū)崿F(xiàn)該功能。計算指標/啞變量DataFrame中的某行同屬多個分類。計算指標/啞變量要為每個genres添加指標變量就需要做一些數(shù)據(jù)規(guī)整操作。從數(shù)據(jù)集中抽取出不同的genres值。計算指標/啞變量現(xiàn)在有：計算指標/啞變量構(gòu)建指標DataFrame的方法之一是從一個全零DataFrame開始。計算指標/啞變量迭代每一部電影并將dummies各行的條目設(shè)為1。使用dummies.columns來計算每個類型的列索引。計算指標/啞變量根據(jù)索引，使用iloc設(shè)定值。計算指標/啞變量將其與movies合并起來。計算指