第-4-章-pandas統(tǒng)計分析基礎(chǔ)《Python數(shù)據(jù)分析與可視化》教學(xué)課件

《Python數(shù)據(jù)分析與可視化》?精品課件合集Python數(shù)據(jù)分析與可視化第4章Pandas統(tǒng)計分析基礎(chǔ)第4章Pandas統(tǒng)計分析基礎(chǔ)Pandas（PythonDataAnalysisLibrary）是基于NumPy的數(shù)據(jù)分析模塊，它提供了大量標(biāo)準(zhǔn)數(shù)據(jù)模型和高效操作大型數(shù)據(jù)集所需的工具，可以說Pandas是使得Python能夠成為高效且強大的數(shù)據(jù)分析環(huán)境的重要因素之一。導(dǎo)入方式：importpandasaspd304一月20254.1Pandas中的數(shù)據(jù)結(jié)構(gòu)Pandas有三種數(shù)據(jù)結(jié)構(gòu)：Series、DataFrame和Panel。Series類似于一維數(shù)組；DataFrame是類似表格的二維數(shù)組；Panel可以視為Excel的多表單Sheet404一月20254.1Pandas中的數(shù)據(jù)結(jié)構(gòu)504一月20254.1.1SeriesSeries是一種一維數(shù)組對象，包含了一個值序列，并且包含了數(shù)據(jù)標(biāo)簽，稱為索引（index），可通過索引來訪問數(shù)組中的數(shù)據(jù)。4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建604一月2025pd.Series(data=None,index=None,dtype=None,name=None,copy=False,fastpath=False)【例4-1】通過列表創(chuàng)建SeriesIn[1]:importpandasaspdobj=pd.Series([1,-2,3,-4])#僅有一個數(shù)組構(gòu)成print(obj)Out[1]:011-2233-4dtype:int644.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建704一月2025【例4-2】創(chuàng)建Series時指定索引In[2]:i=["a","c","d","a"]v=[2,4,5,7]t=pd.Series(v,index=i,name="col")print(t)Out[2]:a2c4d5a7Name:col,dtype:int64盡管創(chuàng)建Series指定了index參數(shù)，實際Pandas還是有隱藏的index位置信息的。所以Series有兩套描述某條數(shù)據(jù)的手段：位置和標(biāo)簽4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建804一月2025【例4-3】Series位置和標(biāo)簽的使用4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建904一月20252）通過字典創(chuàng)建如果數(shù)據(jù)被存放在一個Python字典中，也可以直接通過這個字典來創(chuàng)建Series。In[4]:sdata={'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}obj3=pd.Series(sdata)print(obj3)Out[4]:Ohio35000Texas71000Oregon16000Utah5000dtype:int644.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建1004一月20252）通過字典創(chuàng)建【例4-6】鍵值和指定的索引不匹配In[6]:sdata={"a":100,"b":200,"e":300}letter=["a","b","c","e"]obj=pd.Series(sdata,index=letter)print(obj)Out[6]:a100.0b200.0cNaNe300.0dtype:float644.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建1104一月20252）通過字典創(chuàng)建【例4-7】不同索引數(shù)據(jù)的自動對齊In[7]:sdata={'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}obj1=pd.Series(sdata)states=['California','Ohio','Oregon','Texas']obj2=pd.Series(sdata,index=states)print(obj1+obj2)Out[7]:CaliforniaNaNOhio70000.0Oregon32000.0Texas142000.0UtahNaNdtype:float644.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1.Series的創(chuàng)建1204一月20252）通過字典創(chuàng)建【例4-8】Series索引的修改In[8]:obj=pd.Series([4,7,-3,2])obj.index=['Bob','Steve','Jeff','Ryan']print(obj)Out[8]:Bob4Steve7Jeff-3Ryan2dtype:int644.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1304一月20254.1.2DataFrameDataFrame是一個表格型的數(shù)據(jù)結(jié)構(gòu)，它含有一組有序的列，每列可以是不同的值類型（數(shù)值、字符串、布爾值等）。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典（共用同一個索引）。4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1404一月2025DataFrame的創(chuàng)建格式：pd.DataFrame(data=None,index=None,columns=None,dtype=None,copy=False)In[9]:data={'name':['張三','李四','王五','小明'],'sex':['female','female','male','male'],'year':[2001,2001,2003,2002],'city':['北京','上海','廣州','北京']}df=pd.DataFrame(data)print(df)Out[9]:namesexyearcity0張三female2001北京1李四female2001上海2王五male2003廣州3小明male2002北京4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1504一月2025DataFrame的創(chuàng)建【例4-10】DataFrame的索引In[10]:df1=pd.DataFrame(data,columns=['name','year','sex','city'])print(df1)Out[10]:nameyearsexcity0張三2001female北京1李四2001female上海2王五2003male廣州3小明2002male北京跟Series一樣，如果傳入的列在數(shù)據(jù)中找不到，就會產(chǎn)生NA值4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1604一月2025DataFrame的創(chuàng)建【例4-11】DataFrame創(chuàng)建時的空缺值DataFrame構(gòu)造函數(shù)的columns函數(shù)給出列的名字，index給出label標(biāo)簽In[11]:df2=pd.DataFrame(data,columns=['name','year','sex','city','address'])print(df2)Out[11]:nameyearsexcityaddress0張三2001female北京

NaN李四2001female上海

NaN王五2003male廣州

NaN

小明2002male北京NaN4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1704一月2025DataFrame的創(chuàng)建【例4-12】DataFrame創(chuàng)建時指定列名In[12]:df3=pd.DataFrame(data,columns=['name','sex','year','city'],index=['a','b','c','d'])print(df3)Out[12]:namesexyearcitya張三female2001北京b李四female2001上海c王五male2003廣州d小明male2002北京4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)1804一月2025DataFrame的屬性函數(shù)返回值values元素index索引columns列名dtypes類型size元素個數(shù)ndim維度數(shù)shape數(shù)據(jù)形狀（行列數(shù)目）1904一月20254.1.3索引對象

Pandas的索引對象負責(zé)管理軸標(biāo)簽和其他元數(shù)據(jù)（比如軸名稱等）。構(gòu)建Series或DataFrame時，所用到的任何數(shù)組或其他序列的標(biāo)簽都會被轉(zhuǎn)換成一個Index。4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)2004一月20254.1.3索引對象【例4-13】顯示DataFrame的索引和列。4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)In[13]：print(df)print(df.index)print(df.columns)Out[13]:

namesexyearcitya張三female2001北京b李四female2001上海c王五male2003廣州d小明male2002北京Index(['a','b','c','d'],dtype='object')Index(['name','sex','year','city'],dtype='object')2104一月20254.1.3索引對象【例4-14】DataFrame的Index。4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)In[14]:print('name'indf.columns)print('a'indf.index)Out[14]:

TrueFalse2204一月20254.1.3索引對象每個索引都有一些方法和屬性，它們可用于設(shè)置邏輯并回答有關(guān)該索引所包含的數(shù)據(jù)的常見問題。Index的常用方法和屬性見表4-1。4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)方法說明append連接另一個Index對象，產(chǎn)生一個新的Indexdiff計算差集，并得到一個Indexintersection計算交集union計算并集isin計算一個指示各值是否都包含在參數(shù)集合中的布爾型數(shù)組delete刪除索引i處的元素，并得到新的Indexdrop刪除傳入的值，并得到新的Indexinsert將元素插入到索引i處，并得到新的Indexis_monotonic當(dāng)各元素均大于等于前一個元素時，返回Trueis.unique當(dāng)Index沒有重復(fù)值時，返回Trueunique計算Index中唯一值的數(shù)組2304一月20254.1.4查看DataFrame的常用屬性DataFrame的基礎(chǔ)屬性有values、index、columns、dtypes、ndim和shape，分別可以獲取DataFrame的元素、索引、列名、類型、維度和形狀4.1Pandas中的數(shù)據(jù)結(jié)構(gòu)4.2Pandas索引操作4.2.1重新索引2404一月2025索引對象是無法修改的，因此，重新索引是指對索引重新排序而不是重新命名，如果某個索引值不存在的話，會引入缺失值。對于重建索引引入的缺失值，可以利用fill_value參數(shù)填充。4.2Pandas索引操作4.2.1重新索引2504一月2025【例4-18】重建索引時填充缺失值。In[18]:obj.reindex(['a','b','c','d','e'],fill_value=0)Out[18]:a-4.3b7.2c3.6d4.5e0.0dtype:float64對于順序數(shù)據(jù)，比如時間序列，重新索引時可能需要進行插值或填值處理，利用參數(shù)method選項可以設(shè)置：method=‘ffill’或‘pad’，表示前向值填充method=‘bfill’或‘backfill’，表示后向值填充4.2Pandas索引操作4.2.1重新索引2604一月2025【例4-19】缺失值的前向填充。4.2Pandas索引操作4.2.1重新索引2704一月2025【例4-20】缺失值的后向填充。4.2Pandas索引操作4.2.1重新索引2804一月2025【例4-21】DataFrame數(shù)據(jù)。In[21]:df4=pd.DataFrame(np.arange(9).reshape(3,3),index=['a','c','d'],columns=['one','two','four'])print(df4)Out[21]:

onetwofoura012c345d6784.2Pandas索引操作4.2.1重新索引2904一月2025【例4-22】reindex操作。傳入fill_value=n用n代替缺失值。4.2Pandas索引操作4.2.1重新索引3004一月2025【例4-23】傳入fill_value=n填充缺失值。4.2Pandas索引操作4.2.1重新索引3104一月2025表4-2.reindex函數(shù)參數(shù)參數(shù)使用說明index用于索引的新序列

method插值（填充）方式fill_value缺失值替換值limit最大填充量level copy在Multiindex的指定級別上匹配簡單索引，否則選取其子集默認(rèn)為True，無論如何都復(fù)制；如果為False，則新舊相等時就不復(fù)制4.2Pandas索引操作3204一月20254.2.2更換索引如果不希望使用默認(rèn)的行索引，則可以在創(chuàng)建的時候通過Index參數(shù)來設(shè)置。在DataFrame數(shù)據(jù)中，如果希望將列數(shù)據(jù)作為索引，則可以通過set_index方法來實現(xiàn)?！纠?-24】重建索引。In[24]:df5

=

df1.set_index('city')

print(df5)Out[24]:citynameyearsex北京

張三2001female上海

李四2001female廣州

王五2003male北京

小明2002male4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.1DataFrame數(shù)據(jù)的查詢3304一月2025在數(shù)據(jù)分析中，選取需要的數(shù)據(jù)進行分析處理是最基本操作。在Pandas中需要通過索引完成數(shù)據(jù)的選取。1.選取列:通過列索引或以屬性的方式可以單獨獲取DataFrame的列數(shù)據(jù)，返回的數(shù)據(jù)類型為Series。4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.1DataFrame數(shù)據(jù)的查詢3404一月20252.選取行

通過切片形式可以選取一行或多行數(shù)據(jù)。4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.1DataFrame數(shù)據(jù)的查詢3504一月2025選取通過DataFrame提供的head和tail方法可以得到多行數(shù)據(jù)，但是用這兩種方法得到的數(shù)據(jù)都是從開始或者末尾獲取連續(xù)的數(shù)據(jù)，而利用sample可以隨機抽取數(shù)據(jù)并顯示。head（）#默認(rèn)獲取前5行head（n）#獲取前n行tail（）#默認(rèn)獲取后5行head（n）#獲取后n行sample（n）#隨機抽取n行顯示4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.1DataFrame數(shù)據(jù)的查詢3604一月20253.選取行和列DataFrame.loc(行索引名稱或條件，列索引名稱)DataFrame.iloc(行索引位置，列索引位置)4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.1DataFrame數(shù)據(jù)的查詢3704一月20254.3DataFrame的數(shù)據(jù)查詢與編輯4.3.1DataFrame數(shù)據(jù)的查詢3804一月20254.布爾選擇

可以對DataFrame中的數(shù)據(jù)進行布爾方式選擇。4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.2DataFrame數(shù)據(jù)的編輯3904一月20251.增加數(shù)據(jù)增加一行直接通過append方法傳入字典結(jié)構(gòu)數(shù)據(jù)即可。4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.2DataFrame數(shù)據(jù)的編輯4004一月20251.增加數(shù)據(jù)增加列時，只需為要增加的列賦值即可創(chuàng)建一個新的列。4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.2DataFrame數(shù)據(jù)的編輯4104一月20252.刪除數(shù)據(jù)刪除數(shù)據(jù)直接用drop方法，通過axis參數(shù)確定是刪除的是行還是列。默認(rèn)數(shù)據(jù)刪除不修改原數(shù)據(jù)，需要在原數(shù)據(jù)刪除行列需要設(shè)置參數(shù)inplace=True。4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.2DataFrame數(shù)據(jù)的編輯4204一月20252.刪除數(shù)據(jù)

4.3DataFrame的數(shù)據(jù)查詢與編輯4.3.2DataFrame數(shù)據(jù)的編輯4304一月20253.修改數(shù)據(jù)修改數(shù)據(jù)時直接對選擇的數(shù)據(jù)賦值即可。

需要注意的是，數(shù)據(jù)修改是直接對DataFrame數(shù)據(jù)修改，操作無法撤銷，因此更改數(shù)據(jù)時要做好數(shù)據(jù)備份。4.4Pandas數(shù)據(jù)運算4.4.1算術(shù)運算4404一月2025Pandas的數(shù)據(jù)對象在進行算術(shù)運算時，如果有相同索引則進行算術(shù)運算，如果沒有，則會自動進行數(shù)據(jù)對齊，但會引入缺失值。4.4Pandas數(shù)據(jù)運算4.4.1算術(shù)運算4504一月2025

【例4-36】DataFrame類型的數(shù)據(jù)相加。4.4Pandas數(shù)據(jù)運算4604一月20254.4.2函數(shù)應(yīng)用和映射

已定義好的函數(shù)可以通過以下三種方法應(yīng)用到數(shù)據(jù)：1.map函數(shù)：將函數(shù)套用到Series的每個元素中；2.apply函數(shù)，將函數(shù)套用到DataFrame的行或列上，行與列通過axis參數(shù)設(shè)置；3.applymap函數(shù)，將函數(shù)套用到DataFrame的每個元素上。4.4Pandas數(shù)據(jù)運算4704一月20254.4.2函數(shù)應(yīng)用和映射【例4-37】將水果價格表中的“元”去掉。In[37]:data={'fruit':['apple','grape','banana'],'price':['30元','43元','28元']}df1=pd.DataFrame(data)print(df1)deff(x):returnx.split('元')[0]df1['price']=df1['price'].map(f)print('修改后的數(shù)據(jù)表:\n',df1)Out[37]:fruitprice0apple30元grape43元banana28元修改后的數(shù)據(jù)表:fruitprice0apple30grape432banana284.4Pandas數(shù)據(jù)運算4804一月20254.4.2函數(shù)應(yīng)用和映射【例4-38】apply函數(shù)的使用方法。4.4Pandas數(shù)據(jù)運算4904一月20254.4.2函數(shù)應(yīng)用和映射【例4-39】applymap函數(shù)的用法。4.4Pandas數(shù)據(jù)運算5004一月20254.4.3排序sort_index方法：對索引進行排序，默認(rèn)為升序，降序排序時加參數(shù)ascending=False。

sort_values方法：對數(shù)值進行排序。by參數(shù)設(shè)置待排序的列名4.4Pandas數(shù)據(jù)運算5104一月20254.4.3排序?qū)τ贒ataFrame數(shù)據(jù)排序，通過指定軸方向，使用sort_index函數(shù)對行或列索引進行排序。如果要進行列排序，則通過sort_values函數(shù)把列名傳給by參數(shù)即可。4.4Pandas數(shù)據(jù)運算5204一月20254.4.4匯總與統(tǒng)計1.數(shù)據(jù)匯總在DataFrame中，可以通過sum方法對每列進行求和匯總，與Excel中的sum函數(shù)類似。如果設(shè)置axis=1指定軸方向，可以實現(xiàn)按行匯總。4.4Pandas數(shù)據(jù)運算5304一月20254.4.4匯總與統(tǒng)計2.數(shù)據(jù)描述與統(tǒng)計

利用describe方法會對每個數(shù)值型的列數(shù)據(jù)進行統(tǒng)計4.4Pandas數(shù)據(jù)運算5404一月2025方法名稱說明方法名稱說明min最小值max最大值mean均值ptp極差median中位數(shù)std標(biāo)準(zhǔn)差var方差cov協(xié)方差sem標(biāo)準(zhǔn)誤差mode眾數(shù)skew樣本偏度kurt樣本峰度quantile四分位數(shù)count非空值數(shù)目describe描述統(tǒng)計mad平均絕對離差表4-3.Pandas中常用的描述性統(tǒng)計量4.4Pandas數(shù)據(jù)運算5504一月2025對于類別型特征的描述性統(tǒng)計，可以使用頻數(shù)統(tǒng)計表。Pandas庫中通過unique方法獲取不重復(fù)的數(shù)組，利用value_counts方法實現(xiàn)頻數(shù)統(tǒng)計。

5604一月20254.5.1數(shù)據(jù)分組groupby方法groupby方法可以根據(jù)索引或字段對數(shù)據(jù)進行分組。格式為：DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,**kwargs)4.5數(shù)據(jù)分組與聚合4.5數(shù)據(jù)分組與聚合5704一月20254.5.1數(shù)據(jù)分組參數(shù)名稱參數(shù)說明by可以傳入函數(shù)、字典、Series等，用于確定分組的依據(jù)axis接收int，表示操作的軸方向，默認(rèn)為0level接收int或索引名，代表標(biāo)簽所在級別，默認(rèn)為Noneas_index接收boolean，表示聚合后的標(biāo)簽是否以DataFrame索引輸出sort接收boolean，表示對分組依據(jù)和分組標(biāo)簽排序，默認(rèn)為Truegroup_keys接收boolean，表示是否顯示分組標(biāo)簽的名稱，默認(rèn)為Truesqueeze接收boolean，表示是否在允許情況下對返回數(shù)據(jù)降維，默認(rèn)False表4-4.groupby方法的參數(shù)及其說明4.5數(shù)據(jù)分組與聚合5804一月20254.5.1數(shù)據(jù)分組4.5數(shù)據(jù)分組與聚合5904一月20252.按列名分組DataFrame數(shù)據(jù)的列索引名可以作為分組鍵，但需要注意的是用于分組的對象必須是DataFrame數(shù)據(jù)本身，否則搜索不到索引名稱會報錯。4.5數(shù)據(jù)分組與聚合6004一月20253.按列表或元組分組分組鍵還可以是長度和DataFrame行數(shù)相同的列表或元組，相當(dāng)于將列表或元組看做DataFrame的一列，然后將其分組。4.5數(shù)據(jù)分組與聚合6104一月20254.按字典分組

如果原始的DataFrame中的分組信息很難確定或不存在，可以通過字典結(jié)構(gòu)，定義分組信息。4.5數(shù)據(jù)分組與聚合6204一月20255.按函數(shù)分組

函數(shù)作為分組鍵的原理類似于字典，通過映射關(guān)系進行分組，但是函數(shù)更加靈活。4.5數(shù)據(jù)分組與聚合6304一月20254.5.2數(shù)據(jù)聚合函數(shù)使用說明count計數(shù)sum求和mean求平均值median求中位數(shù)std、var無偏標(biāo)準(zhǔn)差和方差min、max求最小值最大值prod求積first、last第一個和最后一個值1.聚合函數(shù)

除了之前示例中的mean函數(shù)外，常用的聚合運算還有count和sum等。表4-5.聚合運算方法4.5數(shù)據(jù)分組與聚合2.使用agg方法聚合數(shù)據(jù)

agg、aggregate方法都支持對每個分組應(yīng)用某個函數(shù)，包括Python內(nèi)置函數(shù)或自定義函數(shù)。同時，這兩個方法也能夠直接對DataFrame進行函數(shù)應(yīng)用操作。

在正常使用過程中，agg和aggregate函數(shù)對DataFrame對象操作的功能基本相同，因此只需掌握一個即可。6404一月20254.5數(shù)據(jù)分組與聚合6504一月20254.5.3分組運算1.transform方法通過transform方法可以將運算分布到每一行。2.使用apply方法聚合數(shù)據(jù)apply方法類似于agg方法，能夠?qū)⒑瘮?shù)應(yīng)用于每一列。4.6數(shù)據(jù)透視表04一月20254.6.1透視表pivot_table函數(shù)格式：pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,dropna=True,margins_name='All')數(shù)據(jù)透視表（PivotTable）是數(shù)據(jù)分析中常見的工具之一，根據(jù)一個或多個鍵值對數(shù)據(jù)進行聚合，根據(jù)列或行的分組鍵將數(shù)據(jù)劃分到各個區(qū)域。4.6數(shù)據(jù)透視表04一月2025參數(shù)使用說明data接收Data