Python數(shù)據(jù)分析與可視化典型項(xiàng)目實(shí)戰(zhàn)模塊九-天氣與空氣質(zhì)量數(shù)據(jù)分析

模塊九廣告投放效果分析Python數(shù)據(jù)分析與可視化典型項(xiàng)目實(shí)戰(zhàn)（微課版）【任務(wù)描述】Excel文件“advertising.xlsx”共有200行、5列數(shù)據(jù)，列名分別為Unnamed:0、TV、Radio、Newspaper、Sales（產(chǎn)品的銷(xiāo)量）。該數(shù)據(jù)集包含200個(gè)不同市場(chǎng)產(chǎn)品的銷(xiāo)售額，每個(gè)銷(xiāo)售額對(duì)應(yīng)3種廣告媒體投入成本，分別是TV（電視媒體）、Radio（廣播媒體）和Newspaper（報(bào)紙媒體）的投入成本。如果我們能分析出廣告媒體投入成本與銷(xiāo)售額之間的關(guān)系，我們就可以更好地分配廣告開(kāi)支并且使銷(xiāo)售額最大化。針對(duì)該數(shù)據(jù)集主要完成以下數(shù)據(jù)分析與可視化操作。（1）對(duì)廣告費(fèi)用與銷(xiāo)售額的數(shù)據(jù)進(jìn)行對(duì)比。（2）利用線(xiàn)性回歸建立經(jīng)典線(xiàn)性模型。（3）利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型。（4）繪制圖形展示預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)的變化趨勢(shì)?！救蝿?wù)實(shí)現(xiàn)】在JupyterNotebook開(kāi)發(fā)環(huán)境中創(chuàng)建tc09-01.ipynb，然后在單元格中編寫(xiě)代碼并輸出對(duì)應(yīng)的結(jié)果?！救蝿?wù)9-1】利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型1．導(dǎo)入模塊importmatplotlibasmplmpl.rcParams['font.sans-serif']=[u'simHei']#用來(lái)顯示中文標(biāo)簽mpl.rcParams['axes.unicode_minus']=False#用來(lái)顯示負(fù)號(hào)fromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLinearRegression讀取數(shù)據(jù)與查看數(shù)據(jù)集的前5行數(shù)據(jù)讀取數(shù)據(jù)data=pd.read_excel(r'.\data\advertising.xlsx')data1=data.copy()利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型查看數(shù)據(jù)集的前5行數(shù)據(jù)data.head()查看數(shù)據(jù)集的維度data.shape輸出結(jié)果：(200,5)查看數(shù)據(jù)集的基本統(tǒng)計(jì)信息data.describe()查看數(shù)據(jù)集的基本信息()利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型3．?dāng)?shù)據(jù)預(yù)處理列重命名與重置索引data.rename(columns={'Unnamed:0':'No'},inplace=True)data.set_index('No',inplace=True)提取特征值與目標(biāo)值x=data[['TV','Radio','Newspaper']]print(x.head())y=data['Sales']print(y.head())利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型4．繪制散點(diǎn)圖繪制廣告費(fèi)用與銷(xiāo)售額對(duì)比的單一散點(diǎn)圖plt.figure(facecolor='w')#設(shè)置背景顏色plt.plot(data['TV'],y,'ro',label='TV')plt.plot(data['Radio'],y,'g^',label='Radio')plt.plot(data['Newspaper'],y,'mv',label='Newspaper')plt.legend(loc='lowerright')plt.xlabel(u'廣告費(fèi)用',fontsize=16)plt.ylabel(u'銷(xiāo)售額',fontsize=16)plt.title(u'廣告費(fèi)用與銷(xiāo)售額對(duì)比數(shù)據(jù)',fontsize=20)plt.grid(linestyle='--')繪制不同廣告渠道費(fèi)用與銷(xiāo)售額散點(diǎn)圖的多張子圖掃描二維碼在線(xiàn)瀏覽電子活頁(yè)9-1“繪制不同廣告渠道費(fèi)用與銷(xiāo)售額散點(diǎn)圖的多張子圖”中的代碼及繪制的圖形。利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型5．繪制每一個(gè)維度特征與銷(xiāo)售額的散點(diǎn)圖在不設(shè)置seaborn的kind參數(shù)的前提下繪制每一個(gè)維度特征與銷(xiāo)售額的散點(diǎn)圖sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',height=4,aspect=0.8)利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型在設(shè)置seaborn的kind參數(shù)的前提下繪制每一個(gè)維度特征與銷(xiāo)售額的散點(diǎn)圖#設(shè)置參數(shù)kind='reg'sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',height=4,aspect=0.8,kind='reg')利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型6．利用線(xiàn)性回歸建立經(jīng)典線(xiàn)性模型劃分自變量與因變量x=data.iloc[:,:3]y=data.iloc[:,3]劃分訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集fromsklearn.model_selectionimporttrain_test_splitx_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.8,random_state=1)建立模型fromsklearn.linear_modelimportLinearRegressionlinreg=LinearRegression()linreg.fit(x_train,y_train)輸出結(jié)果：LinearRegression()利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型查看模型參數(shù)print("截距：",ercept_)#截距print("回歸系數(shù)",linreg.coef_)#回歸系數(shù)將自變量與對(duì)應(yīng)系數(shù)打包#zip()函數(shù)為打包函數(shù)#計(jì)算各指標(biāo)回歸系數(shù)feature=['TV','Radio','Newspaper']a=zip(feature,linreg.coef_)foriina:print(i)查看模型的可決系數(shù)R2fromsklearn.metricsimportr2_scorey_pred1=linreg.predict(x_train)r2_score(y_train,y_pred1)輸出結(jié)果：截距：2.9079470208164295回歸系數(shù)[0.04684310.178544340.00258619]輸出結(jié)果：('TV',0.04684310317699042)('Radio',0.17854434380887624)('Newspaper',0.0025861860939889944)輸出結(jié)果：0.8959372632325174利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型模型預(yù)測(cè)#測(cè)試數(shù)據(jù)集上的預(yù)測(cè)y_pred2=linreg.predict(x_test)#可決系數(shù)r2_score(y_test,y_pred2)繪制訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集的對(duì)比曲線(xiàn)plt.plot(range(len(y_pred2)),y_pred2,color='blue',label='predict')plt.plot(range(len(y_pred2)),y_test,color='red',label='test')plt.legend(loc='upperright')plt.xlabel("銷(xiāo)售數(shù)量")plt.ylabel("銷(xiāo)售額")輸出結(jié)果：0.8927605914615385利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型7．利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型#劃分?jǐn)?shù)據(jù)集x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.8,random_state=1)#利用線(xiàn)性回歸建立模型linreg=LinearRegression()model=linreg.fit(x_train,y_train)print(linreg.coef_,ercept_)order=y_test.argsort(axis=0)y_test=y_test.values[order]x_test=x_test.values[order,:]y_hat=linreg.predict(x_test)mse=np.average((y_hat-np.array(y_test))**2)rmse=np.sqrt(mse)print('MSE=',mse,)print('RMSE=',rmse)print('R2=',linreg.score(x_train,y_train))print('R2=',linreg.score(x_test,y_test))輸出結(jié)果：[0.04684310.178544340.00258619]2.9079470208164295MSE=1.9918855518287881RMSE=1.4113417558581578R2=0.8959372632325174R2=0.8927605914615385利用線(xiàn)性回歸建立廣告費(fèi)用與銷(xiāo)售額模型8．展示預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)的變化趨勢(shì)plt.figure(facecolor='w')t=np.arange(len(x_test))plt.plot(t,y_test,'r-',linewidth=2,label=u'真實(shí)數(shù)據(jù)')plt.plot(t,y_hat,'g-',linewidth=2,label=u'預(yù)測(cè)數(shù)據(jù)')plt.legend(loc='upperright')plt.title(u'線(xiàn)性回歸預(yù)測(cè)銷(xiāo)量',fontsize=18)plt.grid(b=True,linestyle='--')【任務(wù)描述】對(duì)于零售商，對(duì)商超門(mén)店的銷(xiāo)售額進(jìn)行精準(zhǔn)預(yù)測(cè)，尤其是量化自身所能控制的各種促銷(xiāo)因素產(chǎn)生的結(jié)果，是重要的數(shù)據(jù)應(yīng)用。CSV文件“sales_advert.csv”共有985行、7列數(shù)據(jù)，該文件中為某零售商廣告投入與銷(xiāo)售收入相關(guān)數(shù)據(jù)，列名分別為：revenue（銷(xiāo)售收入）、reach（微信推送次數(shù)）、local_tv（本地電視廣告投入）、online（線(xiàn)上廣告投入）、instore（門(mén)店內(nèi)海報(bào)陳列等投入）、person（門(mén)店銷(xiāo)售人員投入）、event（促銷(xiāo)事件），促銷(xiāo)事件細(xì)分為cobranding（品牌聯(lián)合促銷(xiāo)）、holiday（節(jié)假日）、special（門(mén)店特別促銷(xiāo)）、non-event（無(wú)促銷(xiāo)活動(dòng)）。針對(duì)該數(shù)據(jù)集完成以下數(shù)據(jù)分析與可視化操作。（1）分析各項(xiàng)投入與銷(xiāo)售收入之間的關(guān)系。（2）計(jì)算相關(guān)系數(shù)與繪制相關(guān)系數(shù)熱力圖?！救蝿?wù)9-2】分析廣告投入與銷(xiāo)售收入的關(guān)系【任務(wù)描述】（3）建立銷(xiāo)售收入的預(yù)測(cè)模型。（4）繪制預(yù)測(cè)值與真實(shí)值對(duì)比折線(xiàn)圖。【任務(wù)實(shí)現(xiàn)】在JupyterNotebook開(kāi)發(fā)環(huán)境中創(chuàng)建tc09-02.ipynb，然后在單元格中編寫(xiě)代碼并輸出對(duì)應(yīng)的結(jié)果?！救蝿?wù)9-2】分析廣告投入與銷(xiāo)售收入的關(guān)系2．導(dǎo)入數(shù)據(jù)分析廣告投入與銷(xiāo)售收入的關(guān)系1．導(dǎo)入模塊sns.set(style='whitegrid',palette="summer")fromwarningsimportfilterwarningsfilterwarnings('ignore')data=pd.read_csv(r".\data\sales_advert.csv")df=data分析廣告投入與銷(xiāo)售收入的關(guān)系3．?dāng)?shù)據(jù)預(yù)處理df.drop(axis=1,columns="Unnamed:0",inplace=True)#df.drop([data.columns[0]],axis=1,inplace=True)查看基本信息()刪除信息無(wú)效的列統(tǒng)計(jì)缺失數(shù)值df.isnull().sum()刪除缺失數(shù)值所在的行df.dropna(inplace=True)分析廣告投入與銷(xiāo)售收入的關(guān)系4．查看數(shù)據(jù)集的基本統(tǒng)計(jì)信息df.describe()5．繪制直方圖查看數(shù)據(jù)集中各列數(shù)據(jù)的分布情況df.hist(bins=40,figsize=(12,8))plt.show()掃描二維碼在線(xiàn)瀏覽電子活頁(yè)9-2“數(shù)據(jù)集中各列數(shù)據(jù)分布情況直方圖”。分析廣告投入與銷(xiāo)售收入的關(guān)系6．繪制數(shù)據(jù)集中各列數(shù)據(jù)的箱形圖fig=plt.figure(figsize=(14,7))sns.boxplot(data=df)plt.show()7．新增加數(shù)據(jù)列“total_cost”df["total_cost"]=df.local_tv+df.online+df.instore+df.person#df['total_cost']=df['local_tv']+df['online']+df['instore']+df['person']df.head()分析廣告投入與銷(xiāo)售收入的關(guān)系8．分析各項(xiàng)投入與銷(xiāo)售收入之間的關(guān)系掃描二維碼在線(xiàn)瀏覽電子活頁(yè)9-3“繪制總投入中各促銷(xiāo)事件投入所占比例的圓環(huán)圖”中的代碼及繪制的圖形。繪制各促銷(xiāo)事件的投入對(duì)總銷(xiāo)售收入的貢獻(xiàn)占比圓環(huán)圖。plt.figure(figsize=(8,6))size2=df.groupby("event").revenue.sum()plt.pie(size2.values,labels=size2.index,wedgeprops={'width':0.35,'edgecolor':'w'},autopct='%.2f%%',pctdistance=0.85,startangle=90)plt.show()繪制總投入中各促銷(xiāo)事件投入所占比例的圓環(huán)圖2021年長(zhǎng)沙市天氣數(shù)據(jù)分析繪制散點(diǎn)圖分析各投入與銷(xiāo)售額之間的關(guān)系sns.jointplot(x="reach",y="revenue",data=df)sns.jointplot(x="person",y="revenue",data=df)sns.jointplot(x="local_tv",y="revenue",data=df)sns.jointplot(x="online",y="revenue",data=df)sns.jointplot(x="instore",y="revenue",data=df)sns.jointplot(x="total_cost",y="revenue",data=df)plt.show()掃描二維碼在線(xiàn)瀏覽電子活頁(yè)9-4“繪制散點(diǎn)圖分析各投入與銷(xiāo)售額之間的關(guān)系”中的代碼及繪制的圖形。分析廣告投入與銷(xiāo)售收入的關(guān)系9．計(jì)算相關(guān)系數(shù)print('相關(guān)系數(shù)矩陣：\n',np.round(df.corr(method='pearson'),2))輸出結(jié)果：分析廣告投入與銷(xiāo)售收入的關(guān)系10．繪制相關(guān)系數(shù)熱力圖sns.heatmap(df.corr())輸出結(jié)果如圖9-8所示。分析廣告投入與銷(xiāo)售收入的關(guān)系11．建立銷(xiāo)售收入的預(yù)測(cè)模型fromsklearn.linear_modelimportLinearRegressionfromsklearn.model_selectionimporttrain_test_split刪除無(wú)效的列數(shù)據(jù)x=df.drop(axis=1,columns=["event","revenue","total_cost"])#x=df.drop(['revenue','event',"total_cost"],axis=1)y=df["revenue"]導(dǎo)入sklearn中的線(xiàn)性回歸模型以及訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集劃分函數(shù)劃分訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=2021)創(chuàng)建線(xiàn)性回歸模型lr_model=LinearRegression()lr_model.fit(x_train,y_train)分析廣告投入與銷(xiāo)售收入的關(guān)系R2=lr_model.score(x_test,y_test)R2計(jì)算回歸系數(shù)w=lr_model.coef_w計(jì)算可決系數(shù)計(jì)算截距b=lr_ercept_b依據(jù)線(xiàn)性回歸模型預(yù)測(cè)銷(xiāo)售收入y_pre=lr_model.predict(x_test)y_pre[:5]輸出結(jié)果：0.8206658950332533輸出結(jié)果：array([-2.17286257e+03,1.73825253e+00,3.28827423e+00,4.07512062e+00,2.07002294e+03])輸出結(jié)果：-50327.81848644526輸出結(jié)果：array([27991.38966242,27914.94186385,48109.81035159,35083.85372346,49891.44008046])分析廣告投入與銷(xiāo)售收入的關(guān)系12．繪制預(yù)測(cè)值與真實(shí)值對(duì)比折線(xiàn)圖fig=plt.figure(figsize=(10,6))plt.plot(np.arange(len(y_test)),y_test,color='blue',linestyle='-')plt.plot(np.arange(len(y_pre)),y_pre,color='red',linestyle='-')plt.legend(['真實(shí)值','預(yù)測(cè)值'])plt.show()【任務(wù)描述】隨著互聯(lián)網(wǎng)的飛速發(fā)展，各種網(wǎng)絡(luò)產(chǎn)品應(yīng)運(yùn)而生，例如電商網(wǎng)站、移動(dòng)應(yīng)用、視頻媒體、新媒體等，網(wǎng)絡(luò)廣告成了一種主要的廣告形式，而網(wǎng)絡(luò)廣告具有形式復(fù)雜和多樣化的特點(diǎn)。在大數(shù)據(jù)時(shí)代的背景下，網(wǎng)絡(luò)廣告的精準(zhǔn)投放對(duì)廣告主、服務(wù)平臺(tái)與潛在用戶(hù)而言，在提升效率與效益方面，有更迫切的需求。……網(wǎng)絡(luò)廣告投放效果分析的數(shù)據(jù)源主要包括4個(gè)Excel文件，即包括以下4個(gè)數(shù)據(jù)集。廣告點(diǎn)擊的樣本數(shù)據(jù)集raw_sample.xlsx，體現(xiàn)的是用戶(hù)對(duì)不同位置廣告點(diǎn)擊、沒(méi)點(diǎn)擊的情況；廣告基本信息數(shù)據(jù)集ad_feature.xlsx，體現(xiàn)的是每個(gè)廣告的種類(lèi)、品牌、價(jià)格特征；用戶(hù)基本信息數(shù)據(jù)集user_profile.xlsx，體現(xiàn)的是用戶(hù)群組、性別、年齡、消費(fèi)檔次等特征；用戶(hù)行為日志數(shù)據(jù)集behavior_log.xlsx，體現(xiàn)的是用戶(hù)對(duì)商品種類(lèi)、品牌的瀏覽、加入購(gòu)物車(chē)、收藏、購(gòu)買(mǎi)等信息。為達(dá)到廣告精準(zhǔn)投放的效果，分別從3方面分析網(wǎng)絡(luò)廣告投放效果：【任務(wù)9-3】分析網(wǎng)絡(luò)廣告投放效果【任務(wù)描述】①?gòu)V告投放渠道；②廣告投放時(shí)間；③廣告投放目標(biāo)人群。根據(jù)以下兩項(xiàng)指標(biāo)衡量不同廣告投放效果：①頁(yè)面訪(fǎng)問(wèn)占比，即以點(diǎn)擊率為指標(biāo)衡量廣告投放效果；②以用戶(hù)行為為指標(biāo)衡量廣告投放效果，找出實(shí)現(xiàn)廣告精準(zhǔn)投放的方案?！救蝿?wù)實(shí)現(xiàn)】在JupyterNotebook開(kāi)發(fā)環(huán)境中創(chuàng)建tc09-03.ipynb，然后在單元格中編寫(xiě)代碼并輸出對(duì)應(yīng)的結(jié)果。【任務(wù)9-3】分析網(wǎng)絡(luò)廣告投放效果分析網(wǎng)絡(luò)廣告投放效果掃描二維碼在線(xiàn)瀏覽電子活頁(yè)9-5“【任務(wù)9-3】分析網(wǎng)絡(luò)廣告投放效果”的實(shí)現(xiàn)過(guò)程?！救蝿?wù)描述】K-Means算法屬于無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法，通過(guò)計(jì)算樣本項(xiàng)之間的相似度（也稱(chēng)為樣本間的距離），按照數(shù)據(jù)內(nèi)部存在的數(shù)據(jù)特征將數(shù)據(jù)集劃分為多個(gè)不同的類(lèi)別，使類(lèi)別內(nèi)的數(shù)據(jù)相似度比較高，類(lèi)別之間的數(shù)據(jù)相似度比較低?；谧顑?yōu)的數(shù)據(jù)尺度確定K-Means算法中的K值，其基本思想為，最佳的聚類(lèi)類(lèi)別劃分從數(shù)據(jù)特征上看，類(lèi)別內(nèi)距離最小化且類(lèi)別間距離最大化，直觀的理解就是“物以類(lèi)聚”：同類(lèi)別的“聚集”“抱團(tuán)”，不同類(lèi)別的分散。輪廓系數(shù)通過(guò)枚舉每個(gè)K計(jì)算平均輪廓系數(shù)得到最佳值。CSV文件“ad_performance.csv”共有889行（889條有關(guān)廣告投放與效果的數(shù)據(jù)）、13列數(shù)據(jù)。本任務(wù)通過(guò)各類(lèi)廣告渠道90天內(nèi)的日均UV、平均注冊(cè)率、平均搜索量、訪(fǎng)問(wèn)深度、平均停留時(shí)間、訂單轉(zhuǎn)化率、投放總時(shí)間、素材類(lèi)型、廣告類(lèi)型、合作方式、廣告尺寸和廣告賣(mài)點(diǎn)等特征，將渠道分類(lèi)，找出每類(lèi)渠道的重點(diǎn)特征，為數(shù)據(jù)分析提供支持。假如公司有多個(gè)廣告投放渠道，每個(gè)渠道的客戶(hù)性質(zhì)可能不同，例如在優(yōu)酷視頻投放廣告和今日頭條投放廣告，效果可能會(huì)有差異。為了知道哪些渠道的效果較好，哪些渠道的效果較差，需要有針對(duì)性地做廣告投放效果測(cè)量和優(yōu)化工作。通過(guò)之前的數(shù)據(jù)對(duì)每一個(gè)渠道進(jìn)行分析和評(píng)價(jià)，根據(jù)不同渠道的【任務(wù)9-4】基于K-Means算法的廣告投放效果聚類(lèi)分析【任務(wù)描述】特征，有針對(duì)性地制定廣告投放策略，實(shí)現(xiàn)利益的最大化?；贙-Means算法對(duì)不同的廣告投放渠道的廣告投放