Python數(shù)據(jù)分析案例實(shí)戰(zhàn)PPT完整全套教學(xué)課件

Python數(shù)據(jù)分析案例實(shí)戰(zhàn)第1章數(shù)據(jù)分析基礎(chǔ)第2章NumPy模塊實(shí)現(xiàn)數(shù)值計(jì)算.ppt第3章Pandas模塊實(shí)現(xiàn)統(tǒng)計(jì)分析.ppt第4章Matplotlib模塊實(shí)現(xiàn)數(shù)據(jù)可視化.ppt第5章客戶價(jià)值分析第6章銷售收入預(yù)測(cè)第7章二手房數(shù)據(jù)分析預(yù)測(cè)系統(tǒng)第8章智能停車場(chǎng)運(yùn)營(yíng)分析系統(tǒng)第9章影視作品分析第10章看店寶什么是數(shù)據(jù)分析

數(shù)據(jù)分析就是利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)理論相結(jié)合科學(xué)統(tǒng)計(jì)分析方法對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)、Excel數(shù)據(jù)、收集的大量數(shù)據(jù)、網(wǎng)頁(yè)抓取的數(shù)據(jù)進(jìn)行分析，從中提取有價(jià)值的信息形成結(jié)論并進(jìn)行展示的過(guò)程。

數(shù)據(jù)分析的目的在于將隱藏在一大堆看似雜亂無(wú)章的數(shù)據(jù)背后，將有用的信息提取出來(lái)，總結(jié)出數(shù)據(jù)的內(nèi)在規(guī)律，以幫助在實(shí)際工作中的管理者做出決策和判斷。數(shù)據(jù)分析的概念我們身邊的例子——QQ群數(shù)據(jù)分析的概念經(jīng)過(guò)分析后得到如下信息：大家都在聊什么，聊天的主要內(nèi)容（詞云圖）哪個(gè)時(shí)間段聊天的人多（群活躍度）大家以聊天為主還是以斗圖為主，各占多少這一年群聊天的情況數(shù)據(jù)分析的概念QQ群聊天內(nèi)容分析詞云圖QQ群用戶活躍度分析QQ群聊天次數(shù)與發(fā)圖次數(shù)占比分析2019年群聊天情況分析12492.25數(shù)據(jù)分析的應(yīng)用

通過(guò)數(shù)據(jù)分析可以根據(jù)客戶意向進(jìn)行商品推薦以及針對(duì)性廣告等。例如，我們熟悉的淘寶1.互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)分析的應(yīng)用智能醫(yī)療、健康指數(shù)評(píng)估以及DNA對(duì)比等例如，我們熟悉的手環(huán)、體脂稱2.醫(yī)學(xué)方面數(shù)據(jù)分析的應(yīng)用通過(guò)數(shù)據(jù)分析建立一個(gè)潛在攻擊性的分析模型，監(jiān)測(cè)大量的網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)與訪問(wèn)行為，可以快速識(shí)別出可疑網(wǎng)絡(luò)的訪問(wèn)，起到有效的防御作用3.網(wǎng)絡(luò)安全方面

根據(jù)交通狀況數(shù)據(jù)與GPS定位系統(tǒng)有效的預(yù)測(cè)交通實(shí)時(shí)路況信息。4.交通方面數(shù)據(jù)分析的應(yīng)用5.通信方面數(shù)據(jù)分析可以統(tǒng)計(jì)騷擾電話進(jìn)行騷擾電話的攔截與黑名單的設(shè)置。6.個(gè)人生活數(shù)據(jù)分析可以對(duì)個(gè)人喜好、生活習(xí)慣等進(jìn)行分類，為其提供更加周到的個(gè)性化服務(wù)。數(shù)據(jù)分析方法數(shù)據(jù)分析是從數(shù)據(jù)中提取有價(jià)值信息的過(guò)程，過(guò)程中需要對(duì)數(shù)據(jù)進(jìn)行各種處理和歸類，只有掌握了正確的數(shù)據(jù)分析方法，才能起到事半功倍的效果。描述性分析探索性數(shù)據(jù)分析驗(yàn)證性數(shù)據(jù)分析統(tǒng)計(jì)分析類：對(duì)比分析法、同比分析、環(huán)比分析、定比分析、差異分析、結(jié)構(gòu)分析、因素分析、80/20分析高級(jí)分析類：回歸分析法、聚類分析法、相關(guān)分析法、矩陣分析法、判別分析法、主成分分析法、因子分析法、對(duì)應(yīng)分析法、時(shí)間序列分析。數(shù)據(jù)挖掘類：機(jī)器學(xué)習(xí)、數(shù)據(jù)倉(cāng)庫(kù)等復(fù)合技術(shù)為主

對(duì)比分析法是把客觀事物加以比較，以達(dá)到認(rèn)識(shí)事物的本質(zhì)和規(guī)律并做出正確的評(píng)價(jià)。對(duì)比分析法通常是把兩個(gè)相互聯(lián)系的指標(biāo)數(shù)據(jù)進(jìn)行比較，從數(shù)量上展示和說(shuō)明研究對(duì)象規(guī)模的大小，水平的高低，速度的快慢，以及各種關(guān)系是否協(xié)調(diào)。1.對(duì)比分析

公式：同比增長(zhǎng)速度=（本期-同期）/同期×100%2.同比分析圖1本期與同期銷量情況對(duì)比圖2同比增長(zhǎng)速度

同比分析就是按照時(shí)間如年度、季度、月份、日期等進(jìn)行擴(kuò)展，用本期實(shí)際發(fā)生數(shù)與同期歷史發(fā)生數(shù)相比，產(chǎn)生動(dòng)態(tài)相對(duì)指標(biāo)，用以揭示發(fā)展水平以及增長(zhǎng)速度。同比分析主要是為了消除季節(jié)變動(dòng)的影響，用以說(shuō)明本期水平與去年同期水平對(duì)比而達(dá)到的相對(duì)值。公式：環(huán)比增長(zhǎng)速度=（本期-上期）/上期×100%圖1本期與上期銷量情況對(duì)比圖2環(huán)比增長(zhǎng)速度

3.環(huán)比分析環(huán)比分析是報(bào)告期水平與前一時(shí)期水平之比，表明現(xiàn)象逐期的變化趨勢(shì)。如果計(jì)算一年內(nèi)各月與前一個(gè)月對(duì)比，即1月比去年12月，2月比1月，3月比2月，4月比3月，5月比4月，6月比5月，說(shuō)明逐月的變化程度，如圖1所示，環(huán)比增長(zhǎng)趨勢(shì)如圖2所示。圖1圖24.80/20分析80/20分析，又稱二八法則、帕累托法則、帕累托定律、最省力法則或不平衡原則。該法則是由意大利經(jīng)濟(jì)學(xué)家帕累托提出的。二八法則認(rèn)為：原因和結(jié)果、投入和產(chǎn)出、努力和報(bào)酬之間本來(lái)存在著無(wú)法解釋的不平衡。廣告費(fèi)600005.回歸分析回歸分析多用于統(tǒng)計(jì)分析和預(yù)測(cè)。它是研究變量之間相關(guān)關(guān)系以及相互影響程度，通過(guò)建立自變量和因變量的方程，研究某個(gè)因素受其他因素影響的程度或用來(lái)預(yù)測(cè)?；貧w分析包括：線性和非線性回歸、一元和多元回歸。常用的回歸是一元線性回歸和多元線性回歸。Y軸銷售收入x軸廣告費(fèi)預(yù)測(cè)銷售收入6.聚類分析聚類分析多用于人群分類，客戶分類。所謂聚類是一個(gè)將數(shù)據(jù)集中在某些方面相似的數(shù)據(jù)成員進(jìn)行分類組織的過(guò)程。

7.時(shí)間序列分析時(shí)間序列分析多用于統(tǒng)計(jì)和預(yù)測(cè)。它是按照時(shí)間的順序把隨機(jī)事件變化發(fā)展的過(guò)程記錄下來(lái)，就構(gòu)成了一個(gè)時(shí)間序列。時(shí)間序列分析就是對(duì)時(shí)間序列進(jìn)行觀察、研究、找出它的變化和發(fā)展規(guī)律，預(yù)測(cè)將來(lái)的走勢(shì)。數(shù)據(jù)分析工具據(jù)某招聘網(wǎng)的數(shù)據(jù)顯示，關(guān)鍵詞“數(shù)據(jù)分析”前20頁(yè)職位描述中，數(shù)據(jù)分析師要求前3的主要技能是：SQLPythonExcel

Excel是常用的數(shù)據(jù)分析工具，可以實(shí)現(xiàn)基本的數(shù)據(jù)分析工作，但在數(shù)據(jù)量較大，公式嵌套很多的情況下，Excel處理起來(lái)會(huì)很麻煩而且處理速度也會(huì)變慢。此時(shí)，Python可作為首選，因?yàn)镻ython提供了大量的第三方擴(kuò)展庫(kù)，如Numpy、Scipy、Matplotlib、Pandas、Scikit-Learn、Keras和Gensim等，這些庫(kù)不僅可以對(duì)數(shù)據(jù)進(jìn)行處理、挖掘、可視化展示，其自帶的分析方法模型也使得數(shù)據(jù)分析變得簡(jiǎn)單高效，只需編寫少量的代碼就可以得到分析結(jié)果。另外，Python簡(jiǎn)單易學(xué)，在科學(xué)領(lǐng)域占據(jù)著越來(lái)越重要的地位，將成為科學(xué)領(lǐng)域的主流編程語(yǔ)言。數(shù)據(jù)分析流程數(shù)據(jù)分析的基本流程“如果給我1個(gè)小時(shí)解答一道決定我生死的問(wèn)題，我會(huì)花55分鐘來(lái)弄清楚這道題到底是在問(wèn)什么。一旦清楚了它到底在問(wèn)什么，剩下的5分鐘足夠回答這個(gè)問(wèn)題”——愛(ài)因斯坦明確目的1能夠找到合適的數(shù)據(jù)訓(xùn)練是一件非常重要的事情。獲取數(shù)據(jù)的方式有很多種，如公開(kāi)的數(shù)據(jù)集、爬蟲(chóng)、數(shù)據(jù)采集工具、付費(fèi)API等等獲取數(shù)據(jù)2數(shù)據(jù)處理是從大量的、雜亂無(wú)章、難以理解的、缺失的數(shù)據(jù)中，抽取并推導(dǎo)出對(duì)解決問(wèn)題有價(jià)值、有意義的數(shù)據(jù)。數(shù)據(jù)處理3缺失值異常值describe()函數(shù)刪除drop_duplicates()方法刪除填充刪除數(shù)據(jù)分析4數(shù)據(jù)分析過(guò)程中，選擇適合的分析方法和工具很重要，所選擇的分析方法應(yīng)兼具準(zhǔn)確性、可操作性、可理解性和可應(yīng)用性。而對(duì)于業(yè)務(wù)人員（如產(chǎn)品經(jīng)理或運(yùn)營(yíng)）來(lái)說(shuō)，數(shù)據(jù)分析最重要的是數(shù)據(jù)分析思維。驗(yàn)證結(jié)果5通過(guò)工具和方法分析出來(lái)的結(jié)果只是數(shù)據(jù)的某個(gè)結(jié)果的體現(xiàn)，有些時(shí)候不一定準(zhǔn)確，所以必須要進(jìn)行驗(yàn)證。例如，一家淘寶電商銷售業(yè)績(jī)下滑，分析結(jié)果是（1）價(jià)格平平，客戶不喜歡；（2）產(chǎn)品質(zhì)量不佳，和同期競(jìng)爭(zhēng)對(duì)手比沒(méi)有優(yōu)勢(shì)。但這只是現(xiàn)象，不是因素。具體為什么客戶不喜歡，是宣傳不到位不吸引眼球？還是產(chǎn)品質(zhì)量不佳？這才是真正的分析結(jié)果。所以，只有將數(shù)據(jù)分析與業(yè)務(wù)思維相結(jié)合，才能找到真正的落地的東西。數(shù)據(jù)展示6數(shù)據(jù)展現(xiàn)即數(shù)據(jù)可視化的部分，把數(shù)據(jù)分析結(jié)果展示給業(yè)務(wù)的過(guò)程。數(shù)據(jù)展現(xiàn)除遵循各公司統(tǒng)一規(guī)范原則外，具體形式還要根據(jù)實(shí)際需求和場(chǎng)景而定，其中以圖表方式展現(xiàn)更清晰、更直觀。數(shù)據(jù)應(yīng)用7數(shù)據(jù)應(yīng)用是指將數(shù)據(jù)分析結(jié)果應(yīng)用到實(shí)際業(yè)務(wù)當(dāng)中，是數(shù)據(jù)產(chǎn)生實(shí)際價(jià)值的直接體現(xiàn)，這個(gè)過(guò)程需要具有數(shù)據(jù)溝通能力、業(yè)務(wù)推動(dòng)能力和項(xiàng)目工作能力。Python數(shù)據(jù)分析常用模塊數(shù)值計(jì)算模塊NumPy1

NumPy模塊是一個(gè)用于實(shí)現(xiàn)科學(xué)計(jì)算的庫(kù)，尤其是在實(shí)現(xiàn)數(shù)據(jù)分析時(shí)，該模塊是一個(gè)必不可少的基礎(chǔ)庫(kù)。NumPy模塊不僅支持大量的維度數(shù)組與矩陣運(yùn)算，還針對(duì)數(shù)組運(yùn)算提供大量的數(shù)學(xué)函數(shù)庫(kù)。NumPy是一個(gè)運(yùn)行速度非?？斓臄?shù)學(xué)庫(kù)，實(shí)現(xiàn)的科學(xué)計(jì)算包括：一個(gè)強(qiáng)大的N維數(shù)組對(duì)象ndarray比較成熟的函數(shù)庫(kù)整合C/C++/Fortran代碼的工具實(shí)用的線性代數(shù)、傅里葉變換和隨機(jī)數(shù)生成函數(shù)等功能數(shù)據(jù)處理模塊Pandas2Pandas是一個(gè)開(kāi)源庫(kù)，主要為Python提供高性能、易于使用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。Pandas的數(shù)據(jù)結(jié)構(gòu)中有兩大核心，分別是Series與DataFrame。其中Series是一維數(shù)組和Numpy中的一維數(shù)組類似。這兩種一維數(shù)組與Python中基本數(shù)據(jù)結(jié)構(gòu)List相近，Series可以保存多種數(shù)據(jù)類型的數(shù)據(jù)，如布爾值、字符串、數(shù)字類型等。DataFrame是一種以表格形式的數(shù)據(jù)結(jié)構(gòu)類似于Excel表格一樣，是一種二維的表格型數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)可視化模塊matplotlib3

Matplotlib是一個(gè)Python繪圖庫(kù)，它不僅可以繪制2D圖表，還可以繪制3D圖表。中間的“plot”表示繪圖，而結(jié)尾的“l(fā)ib”表示它是一個(gè)集合。Matplotlib在實(shí)現(xiàn)繪制圖表時(shí)非常的簡(jiǎn)單，只需幾行代碼即可實(shí)現(xiàn)繪制條形圖、折線圖、散點(diǎn)圖和餅圖等。matplotlib.pyplot子模塊提供了類似于MATLAB的界面，尤其是與IPython結(jié)合使用時(shí)，其中的每個(gè)函數(shù)都可以對(duì)圖形進(jìn)行更改，例如，創(chuàng)建圖形、在圖形中創(chuàng)建繪圖區(qū)域、繪制線條樣式、字體屬性、軸屬性等。機(jī)器學(xué)習(xí)模塊scikit-learn4

scikit-learn模塊是一個(gè)簡(jiǎn)單有效的數(shù)據(jù)挖掘和數(shù)據(jù)分析工具，可以讓用戶在各種環(huán)境下重復(fù)使用，scikit-learn模塊是基于numpy、scipy基礎(chǔ)上的模塊。該模塊將很多機(jī)器學(xué)習(xí)算法進(jìn)行了封裝，即可對(duì)算法不是很熟悉的用戶也可以通過(guò)調(diào)用函數(shù)的方式輕松建模。sklearn模塊可以實(shí)現(xiàn)數(shù)據(jù)的預(yù)處理、分類、回歸、PCA降維、模型選擇等工作。它是實(shí)現(xiàn)數(shù)據(jù)分析時(shí)必不可少的一個(gè)模塊庫(kù)。NumPy模塊實(shí)現(xiàn)數(shù)值計(jì)算主講人：初識(shí)NumPy模塊1NumPy中數(shù)組的基本操作2NumPy中函數(shù)的應(yīng)用3初始NumPy模塊NumericalNumarrayNumPy開(kāi)源免費(fèi)1編碼效率高2執(zhí)行效率高3擴(kuò)展性好4NumPy的安裝pipinstallPycharm安裝數(shù)據(jù)類型描述數(shù)據(jù)類型np.bool布爾值（True或False）np.half/np.float16半精度浮點(diǎn)數(shù)：1個(gè)符號(hào)位，5位指數(shù)位，10位小數(shù)部分_默認(rèn)的整數(shù)類型（與C語(yǔ)言中的long相同，通常為int32或int64）np.float32單精度浮點(diǎn)數(shù)，1個(gè)符號(hào)位，8個(gè)指數(shù)位，23位小數(shù)部分c與C的int類型一樣，（通常為int32或int64）np.float64/np.float_雙精度浮點(diǎn)數(shù)，1個(gè)符號(hào)位，11個(gè)指數(shù)位，52位小數(shù)部分p用于索引的整數(shù)類型（與C中的size_t相同，通常為是int32或int64）plex64復(fù)數(shù)，表示兩個(gè)32位浮點(diǎn)數(shù)（實(shí)數(shù)部分和虛數(shù)部分）8字節(jié)（-128到127）plex128/plex_復(fù)數(shù)，表示兩個(gè)64位浮點(diǎn)數(shù)（實(shí)數(shù)部分和虛數(shù)部分）16整數(shù)（-32768至32767）32整數(shù)（-2147483648至2147483647）64整數(shù)（-9223372036854775808至9223372036854775807）np.uint8無(wú)符號(hào)整數(shù)（0到255）np.uint16無(wú)符號(hào)整數(shù)（0到65535）np.uint32無(wú)符號(hào)整數(shù)（0到4294967295）np.uint64無(wú)符號(hào)整數(shù)（0到18446744073709551615）數(shù)組對(duì)象Ndarrayaxis0一維數(shù)組二維數(shù)組123451234554321axis0axis1axis0axis1axis2三維數(shù)組numpy.array(object,dtype=None,copy=True,order='K',subok=False,ndmin=0)參數(shù)名稱說(shuō)明object數(shù)組或嵌套序列的對(duì)象dtype數(shù)組所需的數(shù)據(jù)類型copy對(duì)象是否需要拷貝order指定數(shù)組的內(nèi)存布局，C為行方向排列，F(xiàn)為列方向排列，A為任意方向（默認(rèn)）subok默認(rèn)返回一個(gè)與基類類型一致的數(shù)組ndmin指定生成數(shù)組的最小維度數(shù)據(jù)類型對(duì)象dtypedtype屬性1dtype()函數(shù)2numpy.dtype(obj[,align,copy])參數(shù)名稱說(shuō)明object數(shù)組或嵌套序列的對(duì)象align如果為true，填充字段使其類似C的結(jié)構(gòu)體。copy是否復(fù)制dtype

對(duì)象，如果為false，則是對(duì)內(nèi)置數(shù)據(jù)類型對(duì)象的引用。NumPy中數(shù)組的基本操作內(nèi)置的數(shù)組創(chuàng)建方法1生成隨機(jī)數(shù)2切片和索引3修改數(shù)組形狀4組合數(shù)組5數(shù)組分割6內(nèi)置的數(shù)組創(chuàng)建方法zeros()函數(shù)1arange()函數(shù)2linspace()函數(shù)3logspace()函數(shù)4eye()函數(shù)5diag()函數(shù)6生成隨機(jī)數(shù)rand()函數(shù)1randint()函數(shù)2random()函數(shù)3隨機(jī)生成，元素為0~1范圍的數(shù)組。隨機(jī)生成，元素為指定范圍的數(shù)組。隨機(jī)生成，元素為0~1范圍的數(shù)組。切片和索引0

123

4元素1元素2元素3元素4元素5索引從0開(kāi)始計(jì)數(shù)-5-4-3-2

-1元素1元素2元素3元素4元素5索引可以是負(fù)數(shù)元素1元素2元素3元素4元素5元素2元素3元素4

13

sname[start:end:step]起始值（包括）結(jié)束值（不包括）修改數(shù)組形狀numpy.reshape(a,newshape,order='C')參數(shù)名稱說(shuō)明a表示要修改形狀的數(shù)組newshape表示整數(shù)或者整數(shù)數(shù)組，新的形狀應(yīng)當(dāng)兼容原有形狀order‘C’表示按行、‘F’表示按列、‘A’表示原順序。組合數(shù)組橫向組合1沿軸組合3縱向組合2hstack()函數(shù)vstack()函數(shù)concatenate()函數(shù)數(shù)組分割水平分割1沿軸分割3縱向分割2hsplit()函數(shù)vsplit()函數(shù)split()函數(shù)NumPy中函數(shù)的應(yīng)用數(shù)學(xué)函數(shù)1算數(shù)函數(shù)2統(tǒng)計(jì)函數(shù)3矩陣函數(shù)4數(shù)學(xué)函數(shù)三角函數(shù)1數(shù)值修約2算數(shù)函數(shù)統(tǒng)計(jì)函數(shù)最大值1amax()函數(shù)差值2ptp()函數(shù)百分位數(shù)4percentile()函數(shù)sum()函數(shù)求和3矩陣函數(shù)matlib子模塊mat()函數(shù)廣播機(jī)制123數(shù)組a456數(shù)組b41018102030數(shù)組b數(shù)組a111222333102030102030102030102030111222333102030204060306090pandas模塊實(shí)現(xiàn)統(tǒng)計(jì)分析主講人：Excel數(shù)據(jù)pandas創(chuàng)建的數(shù)據(jù)安裝pandas模塊1pandas數(shù)據(jù)結(jié)構(gòu)2讀寫數(shù)據(jù)3數(shù)據(jù)操作4數(shù)據(jù)的分組與聚合5數(shù)據(jù)的預(yù)處理6安裝pandas模塊pipinstallPycharm安裝pandas數(shù)據(jù)結(jié)構(gòu)Series對(duì)象1DataFrame對(duì)象2Series對(duì)象012Series對(duì)象54321‘我愛(ài)Python’False數(shù)值類型字符類型布爾類型等…abcDataFrame對(duì)象DataFrame對(duì)象列標(biāo)簽索引數(shù)據(jù)axis0axis1讀寫數(shù)據(jù)讀、寫文本文件1讀、寫Excel文件2讀、寫數(shù)據(jù)庫(kù)數(shù)據(jù)3讀、寫文本文件Excel打開(kāi)數(shù)據(jù)記事本打開(kāi)數(shù)據(jù)read_csv()函數(shù)參數(shù)名參數(shù)含義參數(shù)名參數(shù)含義filepath_or_buffer表示文件路徑的字符串skipfooterint類型，需要跳過(guò)的行號(hào)，從文件內(nèi)數(shù)據(jù)的末尾處算起sepstr類型，表示分隔符，默認(rèn)為逗號(hào)“，”na_values將指定的值設(shè)置為NaNheader表示將哪一行數(shù)據(jù)作為列名nrowsint類型，設(shè)置需要讀取數(shù)據(jù)中的前n行數(shù)據(jù)names為讀取后的數(shù)據(jù)設(shè)置列名，默認(rèn)為Noneencodingstr類型，用于設(shè)置文本編碼格式。例如，“utf-8”表示用UTF-8編碼index_col通過(guò)列索引指定列的位置，默認(rèn)為Nonesqueeze設(shè)置為True，表示如果解析的數(shù)據(jù)只包含一列，則返回一個(gè)Series。默認(rèn)為Falseskiprowsint類型，需要跳過(guò)的行號(hào)，從文件內(nèi)數(shù)據(jù)的開(kāi)始處算起engine表示數(shù)據(jù)解析的引擎，可以指定為c或python，默認(rèn)為cto_csv()函數(shù)參數(shù)名參數(shù)含義參數(shù)名參數(shù)含義filepath_or_buffer表示文件路徑的字符串header表示是否寫入數(shù)據(jù)中的列名，默認(rèn)為False，表示不寫入sepstr類型，表示分隔符，默認(rèn)為逗號(hào)“，”index表示是否將行索引寫入文件，默認(rèn)為Truena_repstr類型，用于替換缺失值，默認(rèn)為“”空modestr類型，表示寫入模式默認(rèn)為“w”float_formatstr類型，指定浮點(diǎn)數(shù)據(jù)的格式，例如，'%.2f'表示保留兩位小數(shù)encodingstr類型，表示寫入文件的編碼格式columns表示指定寫入哪列數(shù)據(jù)的列名，默認(rèn)為None讀、寫Excel文件Office辦公軟件“三劍客”.xls.xlsx2007版前2007版后read_excel()函數(shù)參數(shù)名參數(shù)含義io表示文件路徑的字符串sheet_name表示指定Excel文件內(nèi)的分表位置，返回多表可以使用sheet_name=[0,1]，默認(rèn)為0header表示指定哪一行數(shù)據(jù)作為列名，默認(rèn)為0skiprowsint類型，需要跳過(guò)的行號(hào)，從文件內(nèi)數(shù)據(jù)的開(kāi)始處算起skipfooterint類型，需要跳過(guò)的行號(hào)，從文件內(nèi)數(shù)據(jù)的末尾處算起index_col通過(guò)列索引指定列的位置，默認(rèn)為Nonenames指定列的名字讀、寫數(shù)據(jù)庫(kù)數(shù)據(jù)SQLServerSQLiteOracleMySQL數(shù)據(jù)讀取1數(shù)據(jù)寫入2read_sql_query(sql,con,index_col=None,coerce_float=True,params=None,parse_dates=None,chunksize=None)read_sql_table(table_name,con,schema=None,index_col=None,coerce_float=True,parse_dates=None,columns=None,chunksize=None)read_sql(sql,con,index_col=None,coerce_float=True,params=None,parse_dates=None,columns=None,chunksize=None)數(shù)據(jù)讀取不能直接讀取數(shù)據(jù)庫(kù)中的某個(gè)表該函數(shù)需要SQLAlchemy模塊的支持全能的函數(shù)參數(shù)名稱參數(shù)含義sqlstr類型，表示需要執(zhí)行的sql查詢語(yǔ)句或表名table_namestr類型，表示數(shù)據(jù)庫(kù)中數(shù)據(jù)表的名稱con表示數(shù)據(jù)庫(kù)連接index_colstr類型或str類型的列表，指定數(shù)據(jù)列為數(shù)據(jù)行的索引coerce_floatboolean類型，將數(shù)據(jù)中decimal類型的值轉(zhuǎn)換為浮點(diǎn)類型，默認(rèn)為Truecolumnslist類型，表示需要讀取數(shù)據(jù)的列名to_sql(self,name,con,schema=None,if_exists='fail',index=True,index_label=None,chunksize=None,dtype=None,method=None)數(shù)據(jù)寫入?yún)?shù)名稱說(shuō)明namestr類型，表示數(shù)據(jù)表名稱con表示數(shù)據(jù)庫(kù)連接if_exists該參數(shù)提供了三個(gè)屬性，fail表示如果表已經(jīng)存在就不執(zhí)行寫入。replace表示如果表已經(jīng)存在，就將原來(lái)的表刪除，重新創(chuàng)建后再寫入數(shù)據(jù)。append表示在原有的數(shù)據(jù)表中添加數(shù)據(jù)。默認(rèn)屬性為failindex表示是否將行索引寫入數(shù)據(jù)表中，默認(rèn)為TrueSQLAlchemy模塊數(shù)據(jù)操作NaN數(shù)據(jù)處理時(shí)間數(shù)據(jù)的處理數(shù)據(jù)的增、刪、改、查數(shù)據(jù)的增、刪、改、查NaN數(shù)據(jù)處理時(shí)間數(shù)據(jù)的處理數(shù)據(jù)的分組與聚合分組數(shù)據(jù)groupby()方法Series對(duì)象DataFrame對(duì)象SeriesGroupBy對(duì)象DataFrameGroupBy對(duì)象keydataa1a2b3c4a5分組a1a2a5b3c4求和keydataa8b3c4聚合數(shù)據(jù)DataFrame.agg(func,axis=0,*args,**kwargs)參數(shù)名稱說(shuō)明func可以接收字符串、列表、字典類型，表示每行每列的函數(shù)。axis表示操作數(shù)據(jù)的軸向，0為數(shù)據(jù)的索引，1位數(shù)據(jù)的列，默認(rèn)為0。*args要傳遞給func的位置參數(shù)。**kwargs要傳遞給func的關(guān)鍵字參數(shù)。對(duì)DataFrame對(duì)象中列的數(shù)據(jù)進(jìn)行分組并實(shí)現(xiàn)數(shù)據(jù)的計(jì)算和統(tǒng)計(jì)。數(shù)據(jù)的預(yù)處理合并數(shù)據(jù)去除重復(fù)數(shù)據(jù)合并數(shù)據(jù)A類數(shù)據(jù)ABCA1B1C1A2B2C2A3B3C3B類數(shù)據(jù)CDEC1D1E1C2D2E2C3D3E3新數(shù)據(jù)ABCCDEA1B1C1C1D1E1A2B2C2C2D2E2A3B3C3C3D3E3C類數(shù)據(jù)CDEC1D1E1B2D2E2A3D3E3D類數(shù)據(jù)CGEC1G1E1B2G2E2A3G3E3E類數(shù)據(jù)EGEE1G1E1E2G2E2E3G3E3F類數(shù)據(jù)EGFE1G1F1E2G2F2E3G3F3concat()函數(shù)1merge()函數(shù)2join()方法3combine_first()方法4pandas.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False,sort=None,copy=True)參數(shù)名稱說(shuō)明objs需要合并的數(shù)據(jù)，如Series、DataFrame等數(shù)據(jù)。axis連接數(shù)據(jù)的軸向，0表示縱向合并，1表示橫向合并，默認(rèn)為0ignore_index是否保留原有的合并索引，默認(rèn)為False（保留），設(shè)置為True將產(chǎn)生一組新的索引keys通過(guò)設(shè)置key區(qū)分合并后的數(shù)據(jù)來(lái)源sort在連接軸未對(duì)齊時(shí)，選擇是否排序，true為排序，false為不排序copy是否復(fù)制數(shù)據(jù)，默認(rèn)為復(fù)制，設(shè)置false為不復(fù)制縱向、橫向合并參數(shù)名稱說(shuō)明參數(shù)名稱left需要合并的左側(cè)數(shù)據(jù)，DataFrame或Seriesright需要合并的右側(cè)數(shù)據(jù)，DataFrame或Seriesleft_on表示左側(cè)數(shù)據(jù)進(jìn)行連接的（鍵）列名，默認(rèn)為Noneright_on表示右側(cè)數(shù)據(jù)進(jìn)行連接的（鍵）列名，默認(rèn)為Noneleft_indexboolean類型，默認(rèn)為False。表示是否將左側(cè)數(shù)據(jù)中的索引作為連接主鍵right_indexboolean類型，默認(rèn)為False。表示是否將右側(cè)數(shù)據(jù)中的索引作為連接主鍵on表示兩個(gè)數(shù)據(jù)合并的（鍵）列名必須一致，默認(rèn)為Nonesortboolean類型，默認(rèn)為False。表示是否對(duì)合并后的數(shù)據(jù)進(jìn)行排序how數(shù)據(jù)的連接方式，left表示使用左側(cè)數(shù)據(jù)中的(鍵)列名進(jìn)行連接，類似于SQL中的左外連接。其他三個(gè)屬性分別為right（右連接）、outer（外連接）以及inner（內(nèi)連接）默認(rèn)為innervalidate字符類型，默認(rèn)為None，可以設(shè)置為如下幾個(gè)屬性：“one_to_one”檢查合并（鍵）列名是否在左右數(shù)據(jù)集中都是唯一的。“one_to_many”檢查合并（鍵）列名在左數(shù)據(jù)集中是否唯一?！癿any_to_one”檢查合并（鍵）列名在右側(cè)數(shù)據(jù)集中是否唯一?！癿any_to_many”允許，但不會(huì)導(dǎo)致檢查。suffixestuple類型，默認(rèn)為（'_x'，'_y'）。表示左、右列名稱的后綴pandas.merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suffixes=('_x','_y'),copy=True,indicator=False,validate=None)左、右外、內(nèi)合并pandas.DataFrame.join(other,on=None,how='left',lsuffix='',rsuffix='',sort=False)參數(shù)名稱說(shuō)明other表示需要連接的DataFrame、Series或者是包含多個(gè)DataFrame的列表on表示指定連接數(shù)據(jù)的列名，可以是列名或者是包含列名的列表或元組how指定連接方式，left（左連接）、right（右連接）、outer（外連接）以及inner（內(nèi)連接）默認(rèn)為innerlsuffix指定左側(cè)重疊列名的后綴rsuffix指定右側(cè)重疊列名的后綴sortboolean類型，是否對(duì)合并后的數(shù)據(jù)進(jìn)行排序沒(méi)有關(guān)聯(lián)相同（鍵）列名合并pandas.DataFbine_first(other)方法ABA1np.nanNoneB2A3B3數(shù)據(jù)AABA5B1A2NoneD3B4數(shù)據(jù)BABA1B1A2B2A3B3數(shù)據(jù)C去除重復(fù)數(shù)據(jù)pandas.dataFrame.drop_duplicates(subset=None,keep='first',inplace=False)參數(shù)名稱說(shuō)明subset表示指定需要去重的列名，也可以是多個(gè)列名組成的列表。默認(rèn)為None，表示全部列keep表示保存重復(fù)數(shù)據(jù)的哪一條數(shù)據(jù)，first表示保留第一條、last表示保留最后一條、False表示重復(fù)項(xiàng)數(shù)據(jù)都不保留。默認(rèn)為firstinplace表示是否在原數(shù)據(jù)中進(jìn)行操作，默認(rèn)為FalseMatplotlib模塊實(shí)現(xiàn)數(shù)據(jù)可視化主講人：基本用法1繪制常用圖表23D繪圖3基本用法pyplot子模塊的繪圖流程pyplot子模塊的常用語(yǔ)法安裝Matplotlibpyplot子模塊的繪圖流程函數(shù)名稱描述pyplot.figure()調(diào)用該函數(shù)可以創(chuàng)建一個(gè)空白的畫布。figure.add_subplot()調(diào)用該函數(shù)用于實(shí)現(xiàn)在畫布中添加子圖，可以指定子圖的行數(shù)、列數(shù)和圖表的編號(hào)。例如在add_subplot()函數(shù)中填寫221代表將畫布分割成2行2列，圖表畫在從左到右從上到下的第1塊pyplot.subplots()調(diào)用該函數(shù)用于實(shí)現(xiàn)分圖展示，就是在一個(gè)繪圖窗體中顯示多個(gè)圖表，例如在subplots()函數(shù)中填寫121代表在畫布中繪制1行2列的圖表1。pyplot.subplot2grid()調(diào)用該函數(shù)用于實(shí)現(xiàn)非等分畫布形式的圖形展示，通過(guò)設(shè)置subplot2grid()函數(shù)中rowspan和colspan參數(shù)可以讓子圖跨越固定網(wǎng)格布局的多個(gè)行和列，實(shí)現(xiàn)不同的子圖布局。創(chuàng)建畫布與添加子圖的函數(shù)函數(shù)名描述函數(shù)名描述pyplot.title()調(diào)用該函數(shù)用于設(shè)置圖表的標(biāo)題文字，可以為其指定位置、顏色以及字體大小等參數(shù)pyplot.xticks()調(diào)用該函數(shù)用于設(shè)置當(dāng)前圖表x軸的刻度或文本標(biāo)簽pyplot.xlabel()調(diào)用該函數(shù)用于設(shè)置圖表中x軸的名稱，可以為其指定位置、顏色以及字體大小等參數(shù)pyplot.yticks()調(diào)用該函數(shù)用于設(shè)置當(dāng)前圖表y軸的刻度或文本標(biāo)簽pyplot.ylabel()調(diào)用該函數(shù)用于設(shè)置圖表中y軸的名稱，可以為其指定位置、顏色以及字體大小等參數(shù)pyplot.plot()調(diào)用該函數(shù)用于繪制圖表，此函數(shù)需要填寫繪制點(diǎn)的x與y坐標(biāo)pyplot.xlim()調(diào)用該函數(shù)用于設(shè)置當(dāng)前圖表x軸的范圍，該值為區(qū)間值，不可以是一個(gè)字符串pyplot.savafig()調(diào)用該函數(shù)用于保存繪制的圖表，可以為其指定圖表的分辨率、邊緣顏色等參數(shù)pyplot.ylim()調(diào)用該函數(shù)用于設(shè)置當(dāng)前圖表y軸的范圍，該值為區(qū)間值，不可以是一個(gè)字符串pyplot.show()調(diào)用該函數(shù)用于顯示當(dāng)前已經(jīng)繪制完成的圖表pyplot.legend()調(diào)用該函數(shù)用于設(shè)置當(dāng)前圖表的圖例，可以為其指定圖例的大小、位置以及標(biāo)簽繪制圖表常用的函數(shù)繪制常用圖表繪制條形圖1繪制折線圖2繪制散點(diǎn)圖3繪制餅圖4繪制箱形圖5多面板圖表6繪制條形圖參數(shù)名參數(shù)含義參數(shù)名參數(shù)含義xx軸的數(shù)據(jù)，一般采用arange函數(shù)產(chǎn)生一個(gè)序列edgecolor條形邊框顏色heighty軸的數(shù)據(jù)，也就是柱形圖的高度，一般就是我們需要展示的數(shù)據(jù)linewidth條形邊框的寬度width條形的寬度，可以設(shè)置0~1之間分浮點(diǎn)類型，默認(rèn)為0.8alpha條形圖的透明度color條形圖的顏色matplotlib.pyplot.bar(x,height,width=0.8,bottom=None,*,align='center',data=None,**kwargs)實(shí)現(xiàn)效果繪制折線圖參數(shù)名參數(shù)含義參數(shù)名參數(shù)含義xx軸數(shù)據(jù)，接受列表類型的數(shù)據(jù)marker設(shè)置折線點(diǎn)的類型yy軸數(shù)據(jù)，接受列表類型的數(shù)據(jù)markerfacecolor設(shè)置折線點(diǎn)實(shí)心顏色linewidth繪制折線的寬度markersize設(shè)置折線點(diǎn)的大小color設(shè)置折線的顏色linestyle設(shè)置折線類型，默認(rèn)為“-”matplotlib.pyplot.plot(*args,scalex=True,scaley=True,data=None,**kwargs)實(shí)現(xiàn)效果繪制散點(diǎn)圖參數(shù)名參數(shù)含義xx軸數(shù)據(jù)，接受列表類型的數(shù)據(jù)yy軸數(shù)據(jù)，接受列表類型的數(shù)據(jù)s設(shè)置點(diǎn)的大小，當(dāng)該參數(shù)設(shè)置為列表數(shù)據(jù)時(shí)，表示設(shè)置每個(gè)點(diǎn)的大小c設(shè)置點(diǎn)的顏色或顏色列表，當(dāng)該參數(shù)設(shè)置為列表數(shù)據(jù)時(shí)，表示設(shè)置每個(gè)點(diǎn)的顏色marker設(shè)置繪制點(diǎn)的類型matplotlib.pyplot.scatter(x,y,s=None,c=None,marker=None,cmap=None,norm=None,vmin=None,vmax=None,alpha=None,linewidths=None,verts=None,edgecolors=None,*,data=None,**kwargs)實(shí)現(xiàn)效果繪制餅圖參數(shù)名參數(shù)含義參數(shù)名參數(shù)含義x設(shè)置繪制餅圖的數(shù)據(jù)，也就是餅圖中每個(gè)部分的大小shadow是否設(shè)置陰影explode設(shè)置餅圖凸出部分startangle起始角度，默認(rèn)從0開(kāi)始逆時(shí)針轉(zhuǎn)label設(shè)置餅圖各部分標(biāo)簽文本pctdistance設(shè)置餅圖內(nèi)文本與圓心的距離labeldistance設(shè)置餅圖標(biāo)簽文本距離圓心的位置，1.1表示1.1倍半徑colors設(shè)置餅圖內(nèi)各部分顏色autopct設(shè)置餅圖內(nèi)文本的顯示方式matplotlib.pyplot.pie(x,explode=None,labels=None,colors=None,autopct=None,pctdistance=0.6,shadow=False,labeldistance=1.1,startangle=None,radius=None,counterclock=True,wedgeprops=None,textprops=None,center=(0,0),frame=False,rotatelabels=False,*,data=None)實(shí)現(xiàn)效果繪制箱形圖最大值上四分位數(shù)最小值下四分位數(shù)中位數(shù)異常值參數(shù)名參數(shù)含義參數(shù)名參數(shù)含義x設(shè)置要繪制箱形圖的數(shù)據(jù)patch_artist設(shè)置是否填充箱體顏色notch設(shè)置箱形圖是否是凹口的形式顯示showcaps設(shè)置是否顯示最大值與最小值的橫線sym設(shè)置異常點(diǎn)的形狀showfliers設(shè)置是否顯示異常值vert設(shè)置箱形圖是橫向還是縱向boxprops設(shè)置箱體的屬性，如邊框色，填充色等positions設(shè)置箱形圖的位置medianprops設(shè)置中位數(shù)屬性，如線的顏色，粗細(xì)等widths設(shè)置箱形圖的寬度capprops設(shè)置最大值與最小值橫線屬性，如線的顏色，粗細(xì)等matplotlib.pyplot.boxplot(x,notch=None,sym=None,vert=None,whis=None,positions=None,widths=None,patch_artist=None,bootstrap=None,usermedians=None,conf_intervals=None,meanline=None,showmeans=None,showcaps=None,showbox=None,showfliers=None,boxprops=None,labels=None,flierprops=None,medianprops=None,meanprops=None,capprops=None,whiskerprops=None,manage_xticks=True,autorange=False,zorder=None,*,data=None)多面板圖表創(chuàng)建多個(gè)子圖添加子區(qū)域添加子圖3D繪圖3D線圖13D曲面圖23D條形圖3開(kāi)發(fā)步驟①創(chuàng)建X、Y、Z三軸數(shù)據(jù)②figure()函數(shù)創(chuàng)建畫布③

Axes3D類轉(zhuǎn)換3D畫布④繪制、顯示、保存3D線圖實(shí)現(xiàn)效果3D曲面圖實(shí)現(xiàn)效果3D條形圖實(shí)現(xiàn)效果客戶價(jià)值分析隨著電商行業(yè)競(jìng)爭(zhēng)越來(lái)越激烈，推廣費(fèi)用也是越來(lái)越高，加之電商法的出臺(tái)，刷單沖銷量的運(yùn)營(yíng)思路已不再適應(yīng)企業(yè)需求，而應(yīng)將更多的思路應(yīng)轉(zhuǎn)向客戶，做好客戶運(yùn)營(yíng)才是企業(yè)生存的王道。

運(yùn)營(yíng)好客戶，我們首先就要了解客戶、分析客戶，找出哪些是重要保持客戶、哪些是發(fā)展客戶、哪些是潛在客戶，根據(jù)不同類別的客戶采取不同的營(yíng)銷模式：如分類營(yíng)銷、一對(duì)一多樣化營(yíng)銷、個(gè)性化營(yíng)銷等模式，從而使企業(yè)的利潤(rùn)最大化。應(yīng)用場(chǎng)景：某淘寶店鋪客戶多，消費(fèi)行為復(fù)雜，客戶價(jià)值很難人工評(píng)估。RFM模型重要保持客戶發(fā)展客戶潛在客戶系統(tǒng)設(shè)計(jì)系統(tǒng)結(jié)構(gòu)圖客戶價(jià)值分析獲取Excel數(shù)據(jù)數(shù)據(jù)抽取數(shù)據(jù)探索分析數(shù)據(jù)規(guī)約數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換客戶聚類客戶價(jià)值分析獲取數(shù)據(jù)數(shù)據(jù)分析數(shù)據(jù)處理業(yè)務(wù)流程圖用戶數(shù)據(jù)是否缺失、異常抽取近兩年數(shù)據(jù)YN標(biāo)準(zhǔn)化處理客戶聚類客戶價(jià)值分析填充、刪除處理系統(tǒng)預(yù)覽客戶群0客戶群1客戶群2客戶群3755人273人560人2人系統(tǒng)預(yù)覽系統(tǒng)開(kāi)發(fā)準(zhǔn)備開(kāi)發(fā)環(huán)境及工具

操作系統(tǒng)：Windows7、Windows10

開(kāi)發(fā)工具：Pycharm

第三方模塊

：pandas、numpy、matplotlib、sklearn項(xiàng)目文件結(jié)構(gòu)分析方法RFM模型聚類分析聚類算法RFM模型RFM模型最近消費(fèi)時(shí)間間隔Recency消費(fèi)頻率Frequency消費(fèi)金額MonetaryRFM聚類分析

聚類類似于分類，不同的是聚類劃分的類是未知的，也就是說(shuō)我們不知道應(yīng)該屬于哪類，而是通過(guò)一定的算法自動(dòng)分類。而在實(shí)際應(yīng)用中，聚類就是將數(shù)據(jù)集中某些方面相似的數(shù)據(jù)進(jìn)行分類組織的過(guò)程。應(yīng)用領(lǐng)域聚類分析主要應(yīng)用領(lǐng)域：商業(yè)生物保險(xiǎn)行業(yè)因特網(wǎng)電子商務(wù)K-means聚類算法傳統(tǒng)的聚類算法包括五類：劃分方法層次方法基于密度方法基于網(wǎng)絡(luò)方法基于模型方法K-means聚類算法K-means聚類算法

k均值聚類是給定一個(gè)數(shù)據(jù)點(diǎn)集合和需要的聚類數(shù)目k，k由用戶指定，k均值算法根據(jù)某個(gè)距離函數(shù)反復(fù)把數(shù)據(jù)分入k個(gè)聚類中。01

創(chuàng)建k個(gè)點(diǎn)作為起始質(zhì)心，可以隨機(jī)選擇（位于數(shù)據(jù)邊界內(nèi)）02

當(dāng)任意一個(gè)點(diǎn)的簇分配結(jié)果發(fā)生改變時(shí)03

對(duì)數(shù)據(jù)集中每一個(gè)點(diǎn)04

對(duì)每個(gè)質(zhì)心05

計(jì)算質(zhì)心與數(shù)據(jù)點(diǎn)之間的距離06

將數(shù)據(jù)點(diǎn)分配到距其最近的簇07

對(duì)每一個(gè)簇，計(jì)算簇中所有點(diǎn)的均值并將均值作為質(zhì)心偽代碼K-means聚類算法終止條件可以是以下任意一個(gè)：沒(méi)有（或最小數(shù)目）對(duì)象被重新分配給不同的聚類。沒(méi)有（或最小數(shù)目）聚類中心再發(fā)生變化。誤差平方和局部最小。技術(shù)準(zhǔn)備

Sklearn模塊1

K-means聚類2

Pandas模塊3Sklearn模塊

Sklearn模塊（全稱Scikit-learn）是Python的第三方模塊，它是機(jī)器學(xué)習(xí)領(lǐng)域當(dāng)中知名的Python模塊之一，它對(duì)常用的機(jī)器學(xué)習(xí)算法進(jìn)行了封裝，包括回歸（Regression）、降維（DimensionalityReduction）、分類（Classfication）和聚類（Clustering）四大機(jī)器學(xué)習(xí)算法。Sklearn具有以下特點(diǎn)：

簡(jiǎn)單高效的數(shù)據(jù)挖掘和數(shù)據(jù)分析工具讓每個(gè)人能夠在復(fù)雜環(huán)境中重復(fù)使用Sklearn模塊是Scipy模塊的擴(kuò)展，是建立在NumPy和Scipy基礎(chǔ)上的模塊Sklearn模塊

Sklearn模塊的安裝使用pip命令安裝Python版本為2.7以上、NumPy版本1.8以上、SciPy版本0.13.3以上。首先，安裝NumPy和SciPy，如果已經(jīng)安裝NumPy和SciPy，那么安裝scikit-learn可以在命令提示符下（cmd）使用安裝命令：pipinstallscikit-learn在Pycharm開(kāi)發(fā)環(huán)境下安裝K-means聚類調(diào)用KMeans類

fromsklearn.clusterimportKMeans客戶價(jià)值分析系統(tǒng)主要是通過(guò)Scikit——learn的cluster模塊提供的Kmeans函數(shù)來(lái)處理K-means聚類問(wèn)題的，首先調(diào)用Kmeans類。K-means聚類基本語(yǔ)法

kmodel=KMeans(n_clusters=8,init=’k-means++’,n_init=10,max_iter=300,tol=0.0001,precompute_distances=’auto’,verbose=0,random_state=None,copy_x=True,n_jobs=None,algorithm=’auto’)常用參數(shù)及說(shuō)明參數(shù)說(shuō)明n_clusters整型，默認(rèn)值8，表示生成的聚類數(shù)init3個(gè)可選值分別為‘k-means++’、‘random’或者提供一個(gè)數(shù)組。默認(rèn)值為'k-means++'n_init整型，表示算法的運(yùn)行次數(shù)，默認(rèn)值為10max_iter整型，默認(rèn)值300，表示每執(zhí)行一次k-means算法的最大迭代次數(shù)tolfloat類型，表示算法收斂的閾值，默認(rèn)值為0.0001precompute_distances3個(gè)可選值分別為'auto'、True或者False。該參數(shù)用于提前計(jì)算好樣本之間的距離。默認(rèn)值為'auto'verbose整型，默認(rèn)值=0常用參數(shù)及說(shuō)明參數(shù)說(shuō)明random_state整型，表示隨機(jī)數(shù)生成器的種子。默認(rèn)值為Nonen_jobs整型，表示指定計(jì)算所用的進(jìn)程數(shù)。默認(rèn)值為1屬性說(shuō)明

cluster_centers_：返回ndarray。表示分類簇的均值向量

labels_：返回ndarray。表示每個(gè)樣本所屬的簇的標(biāo)記

inertia_：返回ndarray。表示每個(gè)樣本距離它們各自最近簇的中心之和pandas模塊Pandas是Python的一個(gè)核心模塊，主要用于數(shù)據(jù)處理與數(shù)據(jù)分析，它提供了快速、靈活、明確的數(shù)據(jù)結(jié)構(gòu)，能夠簡(jiǎn)單、直觀地處理關(guān)系型、標(biāo)記型數(shù)據(jù)。客戶價(jià)值分析數(shù)據(jù)抽取數(shù)據(jù)抽取

數(shù)據(jù)抽取是從數(shù)據(jù)源中抽取數(shù)據(jù)的過(guò)程。淘寶電商存在大量的歷史銷售數(shù)據(jù)，我們從中抽取近兩年的數(shù)據(jù)2017年1月1日——2018年12月31日業(yè)務(wù)數(shù)據(jù)庫(kù)1業(yè)務(wù)數(shù)據(jù)庫(kù)2……業(yè)務(wù)數(shù)據(jù)庫(kù)n抽取數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)探索分析數(shù)據(jù)探索分析數(shù)據(jù)探索分析主要分析與客戶價(jià)值RFM模型有關(guān)的數(shù)據(jù)是否存在數(shù)據(jù)缺失、數(shù)據(jù)異常的情況，分析出數(shù)據(jù)的規(guī)律。

主要使用：describe函數(shù)開(kāi)發(fā)步驟①導(dǎo)入模塊pandas②使用pandas讀取Excel數(shù)據(jù)③使用describe函數(shù)統(tǒng)計(jì)數(shù)據(jù)④計(jì)算空值數(shù)（缺失數(shù)據(jù)）⑤導(dǎo)出結(jié)果最終實(shí)現(xiàn)效果數(shù)據(jù)處理開(kāi)發(fā)步驟①數(shù)據(jù)規(guī)約②數(shù)據(jù)清洗③數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)規(guī)約

數(shù)據(jù)規(guī)約是指在接近或保持原始數(shù)據(jù)完整性的同時(shí)將數(shù)據(jù)集規(guī)模減小，以提高數(shù)據(jù)處理的速度。……58列買家會(huì)員名訂單付款時(shí)間買家實(shí)際支付金額數(shù)據(jù)采集時(shí)間編寫相關(guān)代碼aa=r'TB201812.xls'df=pd.DataFrame(pd.read_excel(aa))df1=df[['訂單付款時(shí)間','買家會(huì)員名','買家實(shí)際支付金額','數(shù)據(jù)采集時(shí)間']]指定Excel文件讀取Excel文件選取需要的數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)清洗通過(guò)前面的數(shù)據(jù)探索分析，我們發(fā)現(xiàn)在淘寶電商歷史銷售數(shù)據(jù)中存在一些缺失值，例如“訂單付款日期”為空、“買家實(shí)際支付金額”最小值為0，下面將這部分?jǐn)?shù)據(jù)清理掉，關(guān)鍵代碼如下：#去除空值，訂單付款時(shí)間非空值才保留#去除買家實(shí)際支付金額為0的記錄df1=df1[df1['訂單付款時(shí)間'].notnull()&df1['買家實(shí)際支付金額']!=0]數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)轉(zhuǎn)換成“適當(dāng)?shù)摹备袷?，以適應(yīng)數(shù)據(jù)分析和數(shù)據(jù)挖掘算法的需要。下面將清理后的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。最終實(shí)現(xiàn)效果客戶聚類客戶聚類

客戶聚類主要使用Python第三方模塊Sklearn模塊中提供的K-means聚類方法對(duì)客戶數(shù)據(jù)進(jìn)行分類。根據(jù)業(yè)務(wù)需要，這里分為4類。開(kāi)發(fā)步驟①導(dǎo)入數(shù)據(jù)②數(shù)據(jù)塞進(jìn)模型③客戶聚類最終實(shí)現(xiàn)效果客戶價(jià)值分析客戶價(jià)值分析結(jié)果解析客戶價(jià)值分析結(jié)果解析常見(jiàn)問(wèn)題與解決常見(jiàn)錯(cuò)誤與解決1、缺少模塊導(dǎo)致程序運(yùn)行錯(cuò)誤2、模塊版本不適合導(dǎo)致程序運(yùn)行錯(cuò)誤常見(jiàn)錯(cuò)誤與解決3、Excel文件打開(kāi)時(shí)程序運(yùn)行錯(cuò)誤注意事項(xiàng)4、數(shù)據(jù)結(jié)果保存Excel文件時(shí)注意：index參數(shù)，是否輸出索引安裝缺失的模塊1234安裝缺失的模塊在AvailablePackages窗口的搜索框中輸入模塊名稱，比如xlrd，模塊搜索到后勾選安裝復(fù)選框，然后單擊InstallPackage按鈕即可安裝該模塊。1234模塊安裝版本選擇在File菜單中選擇Settings打開(kāi)AvailablePackages窗口，在該窗口中找到Specifyversion復(fù)選框，在下拉列表中選擇0.21.0版本123銷售收入分析與預(yù)測(cè)隨著電商行業(yè)的激烈競(jìng)爭(zhēng)，電商平臺(tái)推出了各種數(shù)字營(yíng)銷方案，付費(fèi)廣告也是花樣繁多。那么電商投入這些廣告后，究竟能給企業(yè)增加多少收益？對(duì)銷售收入的影響究竟有多大？是否達(dá)到企業(yè)預(yù)期？那么，針對(duì)這些問(wèn)題企業(yè)將如何處理，而不是憑直覺(jué)妄加猜測(cè)。

例如：M電商已投入了幾個(gè)月的廣告費(fèi)，收益還不錯(cuò)，本月打算多投入一些，那么老板讓你估算下多投入一些廣告費(fèi)能給企業(yè)帶來(lái)多少收益，你該怎么辦？當(dāng)然是用Python幫你分析。用Python結(jié)合數(shù)據(jù)分析方法對(duì)M電商的銷售收入進(jìn)行分析與預(yù)測(cè)，探索以往廣告費(fèi)和銷售收入的關(guān)系，然后通過(guò)預(yù)支廣告費(fèi)預(yù)測(cè)未來(lái)銷售收入。

系統(tǒng)設(shè)計(jì)系統(tǒng)結(jié)構(gòu)圖銷售收入分析與預(yù)測(cè)獲取銷售數(shù)據(jù)獲取廣告費(fèi)數(shù)據(jù)日期數(shù)據(jù)統(tǒng)計(jì)按月度統(tǒng)計(jì)銷售金額按月度統(tǒng)計(jì)廣告費(fèi)支出金額散點(diǎn)圖分析銷售數(shù)據(jù)繪制擬合圖預(yù)測(cè)銷售收入獲取數(shù)據(jù)數(shù)據(jù)分析數(shù)據(jù)處理數(shù)據(jù)清洗系統(tǒng)業(yè)務(wù)流程用戶獲取銷售數(shù)據(jù)數(shù)據(jù)處理日期數(shù)據(jù)統(tǒng)計(jì)繪制擬合圖獲取廣告費(fèi)用數(shù)據(jù)銷售分析與預(yù)測(cè)系統(tǒng)預(yù)覽線性擬合圖預(yù)測(cè)結(jié)果系統(tǒng)開(kāi)發(fā)準(zhǔn)備開(kāi)發(fā)環(huán)境及工具

操作系統(tǒng)：

開(kāi)發(fā)工具：

第三方模塊

：pandas、numpy、matplotlib、sklearnPycharm、Python3.7Windows7、Windows10項(xiàng)目文件結(jié)構(gòu)分析方法線性回歸1最小二乘法2線性回歸要對(duì)樣本點(diǎn)進(jìn)行線性擬合，求得使預(yù)測(cè)盡可能準(zhǔn)確的函數(shù)，這個(gè)過(guò)程就是線性回歸。線性回歸是對(duì)一個(gè)或多個(gè)自變量和因變量之間的關(guān)系進(jìn)行建模的一種回歸分析方法，它包括一元線性回歸和多元線性回歸。一元線性回歸多元線性回歸當(dāng)只有一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，稱為一元線性回歸。（研究因變量Y和一個(gè)自變量X之間的關(guān)系）當(dāng)自變量有兩個(gè)或多個(gè)時(shí)，研究因變量Y和多個(gè)自變量1X，2X，…，nX之間的關(guān)系，則稱為多元線性回歸。線性回歸720000956800115500013800001797000220000034000006080100120150200300舉個(gè)例子朝向周邊設(shè)施裝修地理位置房?jī)r(jià)面積……3400000300線性回歸線性回歸公式y(tǒng)=bx+kYX最小二乘法線性回歸是數(shù)據(jù)挖掘中的基礎(chǔ)算法之一，線性回歸的思想其實(shí)就是解一組方程，得到回歸函數(shù)，不過(guò)在出現(xiàn)誤差項(xiàng)之后，方程的解法就存在了改變，一般使用最小二乘法進(jìn)行計(jì)算，所謂“二乘”就是平方的意思，最小二乘法也稱最小平方和，其目的是通過(guò)最小化誤差的平方和，使得預(yù)測(cè)值與真值無(wú)限接近。最小二乘法最小二乘法舉個(gè)例子最小二乘法斜率b和截距kxy乘積（x銷售收入y廣告費(fèi)）x總和y總和x平方總和斜率

最小二乘法y值y=4.944876777x+77136.393496由此，計(jì)算出每個(gè)節(jié)點(diǎn)的y預(yù)測(cè)值y1=4.944876777*13985.51+77136.25423=146292.8778y2=4.944876777*6265.78+77136.25423=108119.7642y3=4.944876777*12116.45+77136.25423=137050.6065y4=4.944876777*15832.77+77136.25423=155427.3509y5=4.944876777*18064.53+77136.25423=166463.1291y6=4.944876777*57013.59+77136.25423=359061.4314y=bx+k最小二乘法散點(diǎn)圖回歸線廣告費(fèi)60000Y軸銷售收入x軸廣告費(fèi)預(yù)測(cè)銷售收入373828.9線性回歸模型線性回歸模型

線性回歸模型在Python第三方模塊sklearn模塊（全稱Scikit-learn模塊）下的linear_model模塊中。

①安裝②導(dǎo)入模塊③創(chuàng)建線性回歸模型常用參數(shù)及說(shuō)明參數(shù)說(shuō)明fit_intercept布爾型值，選擇是否需要計(jì)算截距，默認(rèn)值True，如果中心化了的數(shù)據(jù)可以選擇Falsenormalize布爾型值，選擇是否需要標(biāo)準(zhǔn)化，默認(rèn)值False，和參數(shù)fit_intercept有關(guān)，當(dāng)fit_intercept設(shè)置為False時(shí)，將忽略該參數(shù)。若為True，則回歸前對(duì)回歸量x進(jìn)行歸一化處理，取均值相減，再除以L2范數(shù)（L2范數(shù)是指向量各元素的平方和然后開(kāi)方）。copy_x布爾型值，選擇是否復(fù)制X數(shù)據(jù)，默認(rèn)值True，如果為False，則覆蓋x數(shù)據(jù)n_job整型，代表CPU工作效率的核數(shù)，默認(rèn)值1，-1表示跟CPU核數(shù)一致主要屬性參數(shù)說(shuō)明coef_數(shù)組或形狀，表示線性回歸分析的回歸系數(shù)。（斜率w1,w2,w3,...,wn）intercept_數(shù)組，表示截距主要方法參數(shù)說(shuō)明fit(x,y,sample_weight=None)擬合線性模型predict(x)使用線性模型進(jìn)行預(yù)測(cè)score(x,y,sample_weight=None)返回預(yù)測(cè)的確定系數(shù)R^2Excel日期數(shù)據(jù)的處理按日期篩選數(shù)據(jù)1按日期顯示數(shù)據(jù)2按日期統(tǒng)計(jì)數(shù)據(jù)3按日期篩選數(shù)據(jù)實(shí)現(xiàn)按日期篩選數(shù)據(jù)，在DataFrame對(duì)象中指定日期或日期區(qū)間即可。按年度獲取數(shù)據(jù)

importpandasaspdaa=r'TB2018.xls'df=pd.DataFrame(pd.read_excel(aa))df1=df[['訂單付款時(shí)間','買家會(huì)員名','聯(lián)系手機(jī)','買家實(shí)際支付金額']]df1=df1.set_index('訂單付款時(shí)間')#將date設(shè)置為indexprint(df1['2018'])#獲取2019年的數(shù)據(jù)按日期篩選數(shù)據(jù)獲取2017年和2018年的數(shù)據(jù)print(df1['2017':'2018'])#獲取2017至2018年的數(shù)據(jù)獲取某月的數(shù)據(jù)print(df1['2018-11'])#獲取某月的數(shù)據(jù)獲取具體某天的數(shù)據(jù)print(df1['2018-11-06':'2018-11-06'])獲取某個(gè)區(qū)間的數(shù)據(jù)print(df1['2018-11-01':'2018-11-15'])按日期顯示數(shù)據(jù)按月顯示數(shù)據(jù)df2=df1.to_period('M')按季度顯示數(shù)據(jù)df2=df1.to_period('Q')按年度顯示數(shù)據(jù)df2=df1.to_period('Q')按日期統(tǒng)計(jì)數(shù)據(jù)按周統(tǒng)計(jì)數(shù)據(jù)df1.resample('w').sum()按月統(tǒng)計(jì)數(shù)據(jù)df1.resample(‘M').sum()按季度統(tǒng)計(jì)數(shù)據(jù)df1.resample('Q').sum()MSQS按年統(tǒng)計(jì)數(shù)據(jù)df1.resample('AS').sum()A按日期統(tǒng)計(jì)并顯示數(shù)據(jù)按年統(tǒng)計(jì)并顯示數(shù)據(jù)df1.resample('AS').sum().to_period('A')按季度統(tǒng)計(jì)并顯示數(shù)據(jù)df1.resample('Q').sum().to_period('Q')按月統(tǒng)計(jì)并顯示數(shù)據(jù)df1.resample('M').sum().to_period('M')銷售收入分析與預(yù)測(cè)開(kāi)發(fā)步驟①數(shù)據(jù)處理②統(tǒng)計(jì)日期數(shù)據(jù)③繪制擬合圖④預(yù)測(cè)銷售收入數(shù)據(jù)處理銷售收入數(shù)據(jù)廣告支出數(shù)據(jù)Y軸X軸數(shù)據(jù)處理相關(guān)代碼：aa=r'./data/JDdata.xls'bb=r'./data/JDcar.xls'dfaa=pd.DataFrame(pd.read_excel(aa))dfbb=pd.DataFrame(pd.read_excel(bb))df1=dfaa[['業(yè)務(wù)日期','金額']]df2=dfbb[['投放日期','支出']]數(shù)據(jù)處理數(shù)據(jù)顯示不全數(shù)據(jù)輸出時(shí)列名不對(duì)齊怎么辦呢？#顯示所有列pd.set_option('display.max_columns',None)#設(shè)置寬度pd.set_option('display.width',1000)#解決數(shù)據(jù)輸出時(shí)列名不對(duì)齊的問(wèn)題pd.set_option('display.unicode.ambiguous_as_wide',True)pd.set_option('display.unicode.east_asian_width',True)補(bǔ)充一點(diǎn)日期數(shù)據(jù)統(tǒng)計(jì)并顯示resample方法to_period方法根據(jù)歷史銷售數(shù)據(jù)繪制擬合圖預(yù)測(cè)銷售收入Y預(yù)測(cè)值=X值*斜率+截距

X值：已知的7月份要投入的廣告費(fèi)斜率和截距：clf=linear_model.LinearRegression(fit_intercept=True,normalize=False)k=clf.coef_#獲取回歸系數(shù)（斜率w1,w2,w3,...,wn）b=ercept_#獲取截距w0公式：二手房數(shù)據(jù)分析預(yù)測(cè)系統(tǒng)某城市各區(qū)二手房均價(jià)分析1需求分析某城市各區(qū)二手房數(shù)量所占比例2全市二手房裝修程度分析3熱門戶型均價(jià)分析4二手房售價(jià)預(yù)測(cè)5系統(tǒng)設(shè)計(jì)功能結(jié)構(gòu)圖業(yè)務(wù)流程圖系統(tǒng)預(yù)覽系統(tǒng)開(kāi)發(fā)必備開(kāi)發(fā)工具準(zhǔn)備

操作系統(tǒng)：Windows7、Windows8、Windows10。

開(kāi)發(fā)工具：PyCharm內(nèi)置模塊：sys

第三方模塊：PyQt5、pyqt5-tools、matplotlib、sklearn、

pandas文件夾組織結(jié)構(gòu)技術(shù)準(zhǔn)備scikit-learn模塊概述1加載datasets子模塊中的數(shù)據(jù)集2支持向量回歸對(duì)象3scikit-learn庫(kù)概述分類回歸聚類降維選型預(yù)處理/加載datasets子模塊中的數(shù)據(jù)集本地加載數(shù)據(jù):sklearn.datasets.load_<name>1遠(yuǎn)程加載數(shù)據(jù):sklearn.datasets.fetch_<name>2構(gòu)造數(shù)據(jù)集:sklearn.datasets.make_<name>3常用數(shù)據(jù)集加載數(shù)據(jù)函數(shù)數(shù)據(jù)集名稱應(yīng)用任務(wù)類型datasets.load_iris()鳶尾花數(shù)據(jù)集用于分類、聚類任務(wù)的數(shù)據(jù)集datasets.load_breast_cancer()乳腺癌數(shù)據(jù)集用于分類、聚類任務(wù)的數(shù)據(jù)集datasets.load_digits()手寫數(shù)字?jǐn)?shù)據(jù)集用于分類任務(wù)的數(shù)據(jù)集datasets.load_diabetes()糖尿病數(shù)據(jù)集用于分類任務(wù)的數(shù)據(jù)集datasets.load_boston()波士頓房?jī)r(jià)數(shù)據(jù)集用于回歸任務(wù)的數(shù)據(jù)集datasets.load_linnerud()體能訓(xùn)練數(shù)據(jù)集用于多變量回歸任務(wù)的數(shù)據(jù)集本地?cái)?shù)據(jù)集支持向量回歸對(duì)象LinearSVR()對(duì)象sklearn.svm.LinearSVR（epsilon=0.0，tol=0.0001，C=1.0，loss='epsilon_insensitive'，fit_intercept=True，intercept_scaling=1.0，dual=True，verbose=0，random_state=None，max_iter=1000）fromsklearn.svmimportLinearSVR參數(shù)名稱說(shuō)明參數(shù)名稱epsilonfloat類型值，loss參數(shù)中的ε，默認(rèn)值為0.1fit_interceptboolean類型值，是否計(jì)算此模型的截距。如果設(shè)置為false，則不會(huì)在計(jì)算中使用截距（即數(shù)據(jù)預(yù)計(jì)已經(jīng)居中）。默認(rèn)為Truetolfloat類型值，終止迭代的標(biāo)準(zhǔn)值，默認(rèn)值為0.0001verboseint類型值，是否開(kāi)啟verbose輸出，默認(rèn)為TrueCfloat類型值，罰項(xiàng)參數(shù)，該參數(shù)越大，使用的正則化越少，默認(rèn)為1.0dualboolean類型值，選擇算法以解決對(duì)偶或原始優(yōu)化問(wèn)題。設(shè)置為True時(shí)將解決對(duì)偶問(wèn)題，設(shè)置為False時(shí)解決原始問(wèn)題，默認(rèn)為Truelossstring類型值，損失函數(shù)，該參數(shù)有兩種選項(xiàng)：（1）epsilon_insensitive：損失函數(shù)為L(zhǎng)ε（標(biāo)準(zhǔn)SVR）（2）squared_epsilon_insensitive：損失函數(shù)為默認(rèn)值為epsilon_insensitiveintercept_scalingfloat類型值，當(dāng)fit_intercept為True時(shí)，實(shí)例向量x變?yōu)閇x，ercept_scaling]。此時(shí)相當(dāng)于添加了一個(gè)特征，該特征將對(duì)所有實(shí)例都是常數(shù)值。（1）此時(shí)截距變成intercept_scaling*特征的權(quán)重wε（2）此時(shí)該特征值也參與了罰項(xiàng)的計(jì)算random_stateint類型值，隨機(jī)數(shù)生成器的種子，用于在混洗數(shù)據(jù)時(shí)使用。如果是整數(shù)，則是隨機(jī)數(shù)生成器使用的種子;如果是RandomState實(shí)例，則是隨機(jī)數(shù)生成器;如果為None，隨機(jī)數(shù)生成器所使用的RandomState實(shí)例np.random。max_iterint類型值，要運(yùn)行的最大迭代次數(shù)。默認(rèn)為1000coef_賦予特征的權(quán)重，返回array數(shù)據(jù)類型intercept_決策函數(shù)中的常量，返回array數(shù)據(jù)類型LinearSVR()對(duì)象常用參數(shù)圖表工具模塊①創(chuàng)建模塊文件②繪制餅圖函數(shù)③

繪制折線圖函數(shù)④繪制條形圖函數(shù)圖表工具模塊繪制餅圖繪制折線圖繪制條形圖繪制各區(qū)二手房均價(jià)的條形圖1繪制全市二手房裝修程度的條形圖2繪制熱門戶型均價(jià)的條形圖3繪制條形圖二手房數(shù)據(jù)分析清洗數(shù)據(jù)清洗數(shù)據(jù)Unnamed:0小區(qū)名字總價(jià)戶型建筑面積單價(jià)朝向樓層裝修區(qū)域0中天北灣新城89萬(wàn)2室2廳1衛(wèi)89平米10000元/平米南北低層毛坯高新1樺林苑99.8萬(wàn)3室2廳1衛(wèi)143平米6979元/平米南北中層毛坯凈月2嘉柏灣32萬(wàn)1室1廳1