《大數(shù)據(jù)應(yīng)用基礎(chǔ)》課件-3.7Pandas-數(shù)據(jù)分組聚合

Pandas-數(shù)據(jù)分組聚合課前回顧merge()函數(shù)：連接兩個(gè)表，橫向連接(列連接)，可按鍵進(jìn)行連接，默認(rèn)連接方式'inner'；concat()函數(shù)：可橫向合并也可縱向合并，可操作多表，默認(rèn)連接方式'outer'；join()函數(shù)：連接兩個(gè)表，橫向連接(列連接)，適用于沒重復(fù)列名的表連接，默認(rèn)默認(rèn)連接方式'left'；append()函數(shù)：連接兩個(gè)表，縱向連接(行連接)，是concat(axis=0)的簡(jiǎn)略形式。分組聚合在進(jìn)行數(shù)據(jù)分析時(shí)，經(jīng)常需要對(duì)數(shù)據(jù)進(jìn)行分類匯總，比如按門店對(duì)銷售額進(jìn)行分類匯總分析。門店月份銷售額總店15000001分店14000002分店135000總店25500002分店230000門店月份銷售額總店150000總店255000門店月份銷售額02分店13500002分店230000門店月份銷售額01分店140000按“門店”分組對(duì)分組進(jìn)行聚合匯總計(jì)算各門店銷售額合計(jì)分組聚合分組：是指按照特定條件將數(shù)據(jù)劃分為多個(gè)組；聚合：是指對(duì)每個(gè)分組中的數(shù)據(jù)執(zhí)行某些操作(如sum、max、min等)，最后將計(jì)算結(jié)果進(jìn)行整合。那么，在Pandas中如何實(shí)現(xiàn)對(duì)數(shù)據(jù)的分組聚合呢？Pandas分別提供了分組函數(shù)groupby()以及聚合函數(shù)agg()，在數(shù)據(jù)分析時(shí)，通常將這兩個(gè)函數(shù)聯(lián)合使用。目錄0102數(shù)據(jù)分組-groupby數(shù)據(jù)聚合-agg01數(shù)據(jù)分組-groupby數(shù)據(jù)分組-groupbygroupby()函數(shù)：數(shù)據(jù)分組，即根據(jù)一個(gè)或多個(gè)DataFrame列名進(jìn)行分組。groupby()函數(shù)語法：DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False)常用參數(shù)說明by分類的依據(jù)，DataFrame列名axis默認(rèn)axis=0：縱向分割，axis=1：橫向分割level存在多層索引時(shí)，可按特定的索引層級(jí)分組as_index默認(rèn)為True：返回以組標(biāo)簽為索引的對(duì)象，as_index=False：不以組標(biāo)簽為索引sort默認(rèn)為True：按組鍵排序，設(shè)置為False可以提高性能數(shù)據(jù)分組-groupby要求：使用groupby函數(shù)按“年”對(duì)data.xlsx中的利潤(rùn)表項(xiàng)目進(jìn)行分組求和。代碼#

引入pandasimportpandasas

pd#讀取利潤(rùn)表項(xiàng)目df=pd.read_excel(r'/app/bigdata/basics/data.xlsx',sheet_name

=

1,converters

=

{'年':str,'月':str})#

按年分組df.groupby('年')#

返回內(nèi)容：<pandas.core.groupby.generic.DataFrameGroupBy

object

at

0x7f4419a5a2d0>注意使用groupby()函數(shù)對(duì)DataFrame數(shù)據(jù)進(jìn)行分組操作后，返回的結(jié)果是一個(gè)分組的對(duì)象(DataFrameGroupBy，即分組的中間數(shù)據(jù))，而不是一個(gè)DataFrame或Series對(duì)象，分組后可以選擇一個(gè)組或進(jìn)行聚合運(yùn)算。數(shù)據(jù)分組-groupby使用groupby函數(shù)按“年”對(duì)data.xlsx中的利潤(rùn)表項(xiàng)目進(jìn)行分組，并查看2019年數(shù)據(jù)。提示get_group()函數(shù)：根據(jù)組鍵選擇分組對(duì)象中的一組。代碼#查看分組df.groupby('年').get_group('2019')數(shù)據(jù)分組-groupby要求：使用groupby函數(shù)按“年”對(duì)data.xlsx中的利潤(rùn)表項(xiàng)目進(jìn)行分組求和。示例1代碼#引入pandasimportpandasas

pd#讀取利潤(rùn)表項(xiàng)目df=pd.read_excel(r'https://keyun-/app/bigdata/basics/data.xlsx',sheet_name

=

1,converters

=

{'年':str,'月':str})#

按年分組求和df.groupby('年').sum()groupby()常用聚合函數(shù)函數(shù)功能函數(shù)功能mean()計(jì)算組平均值describe()生成描述性統(tǒng)計(jì)sum()計(jì)算組值之和first()計(jì)算各組第一個(gè)值size()計(jì)算組大小(行數(shù))last()計(jì)算各組最后一個(gè)值count()計(jì)算各組元素個(gè)數(shù)nth()取各組第n個(gè)值std()計(jì)算各組標(biāo)準(zhǔn)差min()計(jì)算各組最小值var()計(jì)算各組方差max()計(jì)算各組最大值sem()均值的標(biāo)準(zhǔn)誤差median()計(jì)算各組中位數(shù)提示以上聚合函數(shù)均排除組內(nèi)缺失值NaN。聚合函數(shù)：指減小返回對(duì)象尺寸的函數(shù)，groupby()常用的聚合函數(shù)如下：02數(shù)據(jù)聚合-agg數(shù)據(jù)聚合-agggroupby()函數(shù)內(nèi)置的聚合方法有許多，例如，在groupby后直接調(diào)用sum等函數(shù)，就會(huì)對(duì)所有數(shù)值列進(jìn)行聚合計(jì)算，那么，如果想指定某幾列進(jìn)行不同聚合，該如何實(shí)現(xiàn)呢？agg()函數(shù)：具有自定義聚合功能，允許在一次計(jì)算中，自定義多種聚合方式，例如：對(duì)一列使用多種聚合對(duì)每列使用相同的多種聚合對(duì)選定列使用不同的聚合agg()函數(shù)語法：GroupBy.agg(func)func：聚合方式，字符串函數(shù)名，列表、字典對(duì)一列使用多種聚合要求：使用groupby函數(shù)按“年”對(duì)data.xlsx中的利潤(rùn)表項(xiàng)目進(jìn)行分組，并統(tǒng)計(jì)各組“營(yíng)業(yè)收入”列的平均值、合計(jì)值、最小值、最大值。示例2代碼#統(tǒng)計(jì)營(yíng)業(yè)收入列的平均值、合計(jì)值、最小值、最大值df.groupby('年').agg({'營(yíng)業(yè)收入':['mean','sum','min','max']})提示對(duì)一列使用多種聚合方式，以字典形式傳入，列名為key，方法列表為value對(duì)每列使用相同的多種聚合要求：使用groupby函數(shù)按“年”對(duì)data.xlsx中的利潤(rùn)表項(xiàng)目進(jìn)行分組，并統(tǒng)計(jì)各組每列的平均值、合計(jì)值、最小值、最大值。示例3代碼#

統(tǒng)計(jì)每列的平均值、合計(jì)值、最小值、最大值df.groupby('年').agg(['mean','sum','min','max'])對(duì)選定列使用不同的聚合要求：使用groupby函數(shù)按“年”對(duì)data.xlsx中的利潤(rùn)表項(xiàng)目進(jìn)行分組，并統(tǒng)計(jì)各組“營(yíng)業(yè)收入”的最大值、“營(yíng)業(yè)成本”的最小值、“凈利潤(rùn)”的合計(jì)值。示例4代碼#對(duì)選定列進(jìn)行不同聚合df.groupby('年').agg({'營(yíng)業(yè)收入':'max','營(yíng)業(yè)成本':'min','凈利潤(rùn)':'sum'})提示使用