人工智能與-大數(shù)據(jù)分析VIP

人工智能與大數(shù)據(jù)分析目錄人工智能與大數(shù)據(jù)分析概述Python數(shù)據(jù)分析NumPy與Pandas簡(jiǎn)介泰坦尼克號(hào)案例人工智能與大數(shù)據(jù)分析概述人工智能與大數(shù)據(jù)分析概述二十四節(jié)氣歌、朝霞不出門，晚霞行千里。對(duì)于一些簡(jiǎn)單的自然現(xiàn)象，前人們通過(guò)歸納提取得出很多經(jīng)驗(yàn)知識(shí)。但是現(xiàn)代世界中有很多復(fù)雜問(wèn)題，數(shù)據(jù)量極大，已經(jīng)遠(yuǎn)遠(yuǎn)超出了人腦可處理的范圍。大數(shù)據(jù)分析是數(shù)學(xué)與計(jì)算機(jī)科學(xué)相結(jié)合的產(chǎn)物，在實(shí)用應(yīng)用中，人們可以通過(guò)計(jì)算機(jī)工具和數(shù)學(xué)知識(shí)處理數(shù)據(jù)，得出結(jié)果作出判斷，以便采取適當(dāng)行動(dòng)。

人工智能與大數(shù)據(jù)分析概述數(shù)據(jù)(data)客觀事物未經(jīng)加工的原始素材。包括文本、數(shù)字、音頻、圖像、視頻等等。大數(shù)據(jù)分析(dataanalysis)大數(shù)據(jù)分析是基于某種行業(yè)目的,有目的地進(jìn)行收集,整理,加工和分析數(shù)據(jù),

提煉有價(jià)值信息的一個(gè)過(guò)程。人工智能與大數(shù)據(jù)分析概述大數(shù)據(jù)分析是將數(shù)據(jù)轉(zhuǎn)化為知識(shí)/智慧的手段。數(shù)據(jù)原始素材信息有含義的數(shù)據(jù)知識(shí)對(duì)事物的正確理解和認(rèn)識(shí)人工智能與大數(shù)據(jù)分析概述數(shù)據(jù)分析師常用工具PythonRSQLExcelSPSS人工智能與大數(shù)據(jù)分析概述大數(shù)據(jù)分析非常普遍，日常出行、購(gòu)物、企業(yè)生產(chǎn)決策處處有數(shù)據(jù)分析。幾個(gè)實(shí)際的例子：沃爾瑪購(gòu)物籃分析世界杯點(diǎn)球預(yù)測(cè)

UPS快遞——數(shù)據(jù)分析下的最佳行車路徑試衣間的數(shù)據(jù)分析應(yīng)用阿里信用貸款和淘寶數(shù)據(jù)魔方

人工智能與大數(shù)據(jù)分析概述薩姆·沃爾頓將一個(gè)百貨商店沃爾瑪奇跡般地經(jīng)營(yíng)為全球最大的連鎖零售企業(yè)。早在1985年10月就被《福布斯》雜志列為全美富豪排行榜首位，連美國(guó)總統(tǒng)布什都贊揚(yáng)他是地道的美國(guó)人，展現(xiàn)了企業(yè)創(chuàng)新精神，是美國(guó)夢(mèng)的縮影…人工智能與大數(shù)據(jù)分析概述1983年，當(dāng)一般零售商還在進(jìn)行信息化建設(shè)的時(shí)候，沃爾瑪已經(jīng)開(kāi)始與休斯公司合作，花費(fèi)了2400萬(wàn)美元發(fā)射了一顆人造衛(wèi)星，此后先后投入6億多美元建立起電腦與衛(wèi)星系統(tǒng)，還發(fā)明了條形碼、無(wú)線掃描槍、計(jì)算機(jī)跟蹤存貨等技術(shù)。借助于整套的高科技信息網(wǎng)絡(luò)，沃爾瑪?shù)母鞑块T溝通、各業(yè)務(wù)流程可迅速、準(zhǔn)確的運(yùn)行，數(shù)據(jù)庫(kù)系統(tǒng)很快積累了海量的經(jīng)營(yíng)數(shù)據(jù)，包括大量的顧客消費(fèi)行為記錄。人工智能與大數(shù)據(jù)分析概述圣誕節(jié)快要到來(lái)時(shí)，沃爾瑪?shù)墓ぷ魅藛T按照慣例籌備節(jié)日的營(yíng)銷策略。這一次它們使用了一種新的購(gòu)物籃分析的軟件，對(duì)海量的顧客消費(fèi)行為進(jìn)行分析，一個(gè)意外的發(fā)現(xiàn)讓人們瞠目結(jié)舌，跟尿布一起購(gòu)買最多的商品竟然是啤酒！人工智能與大數(shù)據(jù)分析概述沃爾瑪派出市場(chǎng)調(diào)查人員和分析師對(duì)這一結(jié)果進(jìn)行了深入研究，揭示了一條隱藏的在啤酒與尿布背后的美國(guó)人的一種行為模式：一些年齡在25-35歲的年輕父親下班后經(jīng)常要去超市買嬰兒尿布，而他們中30%-40%的人會(huì)順手為自己購(gòu)買幾瓶啤酒。人工智能與大數(shù)據(jù)分析概述沃爾瑪馬上采取行動(dòng)，將賣場(chǎng)內(nèi)原來(lái)相隔很遠(yuǎn)的婦嬰用品與酒類飲料區(qū)的距離拉近。同時(shí)對(duì)這兩個(gè)產(chǎn)品的價(jià)格也做出調(diào)整，并向一次購(gòu)買達(dá)到一定金額的顧客贈(zèng)送嬰兒奶嘴以及其他小禮品，結(jié)果是尿布與啤酒的銷量雙雙大增。人工智能與大數(shù)據(jù)分析概述2006年世界杯上，阿根廷和德國(guó)在1/4決賽中120分鐘難分高下，在點(diǎn)球大戰(zhàn)開(kāi)始之前，老門將卡恩將一張紙條遞到萊曼手中。結(jié)果是，萊曼所有點(diǎn)球都判斷對(duì)了方向，除了兩個(gè)點(diǎn)球質(zhì)量太高無(wú)力回天外，其余全部撲出，阿根廷只能黯然出局。問(wèn)題是，那張紙條上究竟寫了什么？人工智能與大數(shù)據(jù)分析概述上面記錄著阿根廷隊(duì)的克魯茲、阿亞拉、羅德里格斯以及坎比亞索習(xí)慣的腳法。德國(guó)隊(duì)守門員教練科普克如此精確的預(yù)測(cè)出阿根廷球員射出的點(diǎn)球方向，并不是他有什么過(guò)人的占卜天才?！畵潼c(diǎn)球秘籍’來(lái)自于德國(guó)科隆體育學(xué)院數(shù)據(jù)分析小組夜以繼日的努力。

人工智能與大數(shù)據(jù)分析概述分析小組收集了阿根廷球隊(duì)13000個(gè)點(diǎn)球的錄像，并根據(jù)阿根廷射門練習(xí)的數(shù)據(jù)找出了一些可以描述射門動(dòng)作的行為特征，比如“阿亞拉，短助跑，右下角；里克爾梅，斜上助跑，右下角；馬克西，長(zhǎng)距離助跑，左上角…….”

這些行為特征描述了阿根廷隊(duì)誰(shuí)罰點(diǎn)球、怎么罰點(diǎn)球的規(guī)律。最終從這些特征中提煉出更具體的特征，幫助德國(guó)隊(duì)獲得勝利。人工智能與大數(shù)據(jù)分析概述UPS（美國(guó)聯(lián)合包裹公司）是一家美國(guó)快遞公司，世界上最大的快遞承運(yùn)商與包裹遞送公司。同時(shí)也是運(yùn)輸、物流、資本與電子商務(wù)服務(wù)的領(lǐng)導(dǎo)性的提供者。人工智能與大數(shù)據(jù)分析概述UPS是一個(gè)充分利用數(shù)據(jù)分析技術(shù)帶來(lái)盈利和獎(jiǎng)項(xiàng)的科技公司。UPS多效地利用了地理定位數(shù)據(jù)。為了使總部跟蹤到車輛的位置和預(yù)防引擎故障，它的貨車上裝有傳感器、無(wú)線適配器和GPS。人工智能與大數(shù)據(jù)分析概述這些設(shè)備方便了公司監(jiān)督管理員工并優(yōu)化行車線路。UPS為貨車定制的最佳行車路徑是根據(jù)過(guò)去的行車數(shù)據(jù)總結(jié)分析而來(lái)。2011年，UPS的駕駛員少跑了近4828萬(wàn)公里的路程。人工智能與大數(shù)據(jù)分析概述普拉達(dá)（PRADA）是意大利奢侈品牌，由瑪麗奧·普拉達(dá)于1913年在意大利米蘭創(chuàng)建，當(dāng)前全球最大的奢侈品牌之一。人工智能與大數(shù)據(jù)分析概述每件衣服上都有RFID碼，當(dāng)顧客拿起衣服進(jìn)試衣間時(shí)，衣服上的RFID會(huì)被自動(dòng)識(shí)別，數(shù)據(jù)傳至PRADA總部。每一件衣服在哪個(gè)城市哪個(gè)旗艦店什么時(shí)間被拿進(jìn)試衣間停留多長(zhǎng)時(shí)間，數(shù)據(jù)都被存儲(chǔ)起來(lái)加以分析。人工智能與大數(shù)據(jù)分析概述如果有一件衣服銷量很低，以往的作法是直接被廢棄掉。如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低，但進(jìn)試衣間的次數(shù)多。那就說(shuō)明存在一些問(wèn)題，衣服或許還有改進(jìn)的余地。這項(xiàng)應(yīng)用在提升消費(fèi)者購(gòu)物體驗(yàn)的基礎(chǔ)上，PRADA還提升30%的銷售量。

人工智能與大數(shù)據(jù)分析概述中國(guó)最大的電子商務(wù)公司阿里巴巴（Alibaba）利用大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)提供服務(wù)：阿里信用貸款與淘寶數(shù)據(jù)魔方。

人工智能與大數(shù)據(jù)分析概述

每天有數(shù)以萬(wàn)計(jì)的交易在淘寶上進(jìn)行。相應(yīng)的交易時(shí)間、商品價(jià)格、購(gòu)買數(shù)量會(huì)被記錄，同時(shí)這些信息可以與買方和賣方的年齡、性別、地址、甚至興趣愛(ài)好等個(gè)人特征信息相匹配。

人工智能與大數(shù)據(jù)分析概述

淘寶數(shù)據(jù)魔方就是淘寶平臺(tái)上的大數(shù)據(jù)應(yīng)用方案。商家可以了解行業(yè)宏觀情況、品牌的市場(chǎng)狀況、消費(fèi)者行為情況。消費(fèi)者也能以更優(yōu)惠的價(jià)格買到更心儀的寶貝。

人工智能與大數(shù)據(jù)分析概述

阿里信用貸款則是通過(guò)企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)分析技術(shù)自動(dòng)分析判定是否給予企業(yè)貸款，全程不會(huì)出現(xiàn)人工干預(yù)。人工智能與大數(shù)據(jù)分析概述開(kāi)放數(shù)據(jù)為了滿足日益增長(zhǎng)的數(shù)據(jù)需求，人們把很多數(shù)據(jù)資源放到了因特網(wǎng)上。這些被稱為開(kāi)放數(shù)據(jù)（opendata）的數(shù)據(jù)資源對(duì)大眾免費(fèi)開(kāi)放。人工智能與大數(shù)據(jù)分析概述開(kāi)放數(shù)據(jù)下面是網(wǎng)上比較常用的開(kāi)放數(shù)據(jù)網(wǎng)站：開(kāi)放數(shù)據(jù)中國(guó)（/）亞馬遜AWS開(kāi)放數(shù)據(jù)集（/datasets）UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)（/ml）datahub網(wǎng)站（http://datahub.io/dataset）人工智能與大數(shù)據(jù)分析概述數(shù)據(jù)分析流程數(shù)據(jù)分析要做的事情可具體分為5步：與外界進(jìn)行交互讀寫各種各樣的文件格式和數(shù)據(jù)庫(kù)數(shù)據(jù)準(zhǔn)備對(duì)數(shù)據(jù)進(jìn)行清理、整合、規(guī)范化、重塑、變形等處理數(shù)據(jù)轉(zhuǎn)換對(duì)數(shù)據(jù)集做一些數(shù)學(xué)和統(tǒng)計(jì)運(yùn)算以產(chǎn)生新的數(shù)據(jù)集數(shù)據(jù)建模和計(jì)算將數(shù)據(jù)跟統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)算法聯(lián)系起來(lái)分析結(jié)果展示創(chuàng)建圖片或文字摘要，展示分析結(jié)果Python數(shù)據(jù)分析Python數(shù)據(jù)分析為什么用Python？數(shù)據(jù)科學(xué)家們希望：用最小的編程代價(jià)在大數(shù)據(jù)集上進(jìn)行數(shù)值分析；編寫的代碼可讀性好、執(zhí)行效率高、運(yùn)行速度快；盡可能貼近一系列數(shù)學(xué)概念。Python數(shù)據(jù)分析為什么用Python？在科學(xué)計(jì)算領(lǐng)域，有很多符合這些要求的解決方案。在對(duì)比競(jìng)爭(zhēng)中Python勝出，在科學(xué)領(lǐng)域被廣泛使用，具體原因如下：容易在Python中調(diào)用C、Fortran或者R代碼。Python是面向?qū)ο笳Z(yǔ)言，比C和Fortran更高級(jí)。Python可以寫出易讀、整潔并且缺陷最少的代碼。Python數(shù)據(jù)分析為什么用Python？另外Python還有很多方面的用途，比如：通用型腳本語(yǔ)言，可以作腳本來(lái)用，還能操作數(shù)據(jù)庫(kù)；Django等框架的問(wèn)世，Python近些年還廣泛用于開(kāi)發(fā)web應(yīng)用。Python數(shù)據(jù)分析Python數(shù)據(jù)分析常用庫(kù)NumPy

科學(xué)計(jì)算的基礎(chǔ)包庫(kù)Scipy

科學(xué)計(jì)算中的工具庫(kù)Matplotlib

繪制數(shù)據(jù)圖表庫(kù)Pandas

基于NumPy的數(shù)據(jù)分析庫(kù)Scikit-learn

機(jī)器學(xué)習(xí)建模庫(kù)Pytorch

一種深度學(xué)習(xí)框架NumPy和Pandas簡(jiǎn)介NumPy和Pandas簡(jiǎn)介NumPy是一個(gè)開(kāi)源的Python科學(xué)計(jì)算庫(kù)?？梢院茏匀坏厥褂脭?shù)組和矩陣，也包含很多實(shí)用的數(shù)學(xué)函數(shù)。NumPy和Pandas簡(jiǎn)介為什么使用NumPy？對(duì)于數(shù)值計(jì)算任務(wù)，使用NumPy要比直接編寫Python代碼便捷得多。NumPy能夠直接對(duì)數(shù)組和矩陣進(jìn)行操作，可以省略很多循環(huán)語(yǔ)句。NumPy眾多的數(shù)學(xué)函數(shù)能簡(jiǎn)化編寫代碼的工作。NumPy和Pandas簡(jiǎn)介Pandas是什么？

Pandas源自panel

data（面板數(shù)據(jù)）、Python

data

analysis（數(shù)據(jù)分析）NumPy和Pandas簡(jiǎn)介Pandas的優(yōu)勢(shì)Pandas以NumPy為基礎(chǔ)，能利用NumPy在計(jì)算方面性能高的優(yōu)勢(shì)。Pandas提供了大量處理數(shù)據(jù)的函數(shù)和方法，強(qiáng)大而高效。兩種新型的結(jié)構(gòu)Series和DataFrame使Pandas在處理表格數(shù)據(jù)非常有效。NumPy和Pandas簡(jiǎn)介本課程用得最多的Pandas對(duì)象是DataFrameNumPy和Pandas簡(jiǎn)介安裝NumPy和Pandas：第一種安裝方式：Python

pip

NumPy/Pandas第二種安裝方法：Anaconda集成環(huán)境NumPy和Pandas簡(jiǎn)介第一種安裝方式：Python

pip

NumPy/Pandas

NumPy是基于Python的，在安裝NumPy之前，需要先安裝Python。本課程使用的是Python3.6版本。安裝時(shí)記得勾選安裝pip選項(xiàng)，并配置環(huán)境變量。NumPy和Pandas簡(jiǎn)介安裝NumPy和Pandas：本課程使用的NumPy版本為1.14，Pandas版本為0.23。NumPy

:

pip

install

numpyPandas:

pip

install

pandasNumPy和Pandas簡(jiǎn)介安裝NumPy和Pandas：卸載安裝包：pip

uninstall

package_name更新安裝包：pip

install–U

package_name

查看安裝模塊版本號(hào)：pip

list

/

pip

freezeNumPy和Pandas簡(jiǎn)介第二種安裝方式：Anaconda集成環(huán)境Anaconda

是一種Python語(yǔ)言的增值開(kāi)源發(fā)行版，用于進(jìn)行大規(guī)模數(shù)據(jù)處理,預(yù)測(cè)分析,和科學(xué)計(jì)算,致力于簡(jiǎn)化包的管理和部署。下載地址：/download/

NumPy和Pandas簡(jiǎn)介安裝NumPy和Pandas：更新Anaconda：conda

update

conda查看Anaconda安裝包：conda

list

Anaconda內(nèi)置了大多數(shù)數(shù)據(jù)處理,預(yù)測(cè)分析,和科學(xué)計(jì)算的模塊包（包括NumPy和Pandas），所以無(wú)需另外安裝。

NumPy和Pandas簡(jiǎn)介安裝NumPy和Pandas：

Anaconda安裝模塊包：conda

install

package_name

Anaconda卸載模塊包：conda

uninstall

package_name

Anaconda更新模塊包：

conda

update

--

package_name

NumPy和Pandas簡(jiǎn)介集成開(kāi)發(fā)環(huán)境：

IDE：Integrated

Development

Environment，集成開(kāi)發(fā)環(huán)境。數(shù)據(jù)分析領(lǐng)域：jupyter

notebook

NumPy和Pandas簡(jiǎn)介集成開(kāi)發(fā)環(huán)境：

pip下安裝方式：pip

install

jupyter安裝后命令行輸入jupyter

notebook

或ipython

notebook打開(kāi)。

NumPy和Pandas簡(jiǎn)介集成開(kāi)發(fā)環(huán)境：

Anaconda環(huán)境下自帶jupyter

notebookNumPy和Pandas簡(jiǎn)介啟動(dòng)jupyternotebook：

選擇目錄上傳文件新建文件NumPy和Pandas簡(jiǎn)介工作界面：

重命名文件名工具欄輸入框泰坦尼克號(hào)案例泰坦尼克號(hào)案例泰坦尼克號(hào)是19世紀(jì)初世界上體積最龐大、內(nèi)部設(shè)施最豪華的客運(yùn)輪船，有永不沉沒(méi)的美譽(yù)。然而諷刺的是，在處女航中，泰坦尼克號(hào)便遭厄運(yùn)。泰坦尼克號(hào)案例1912年4月15日，載著1316號(hào)乘客和891名船員的豪華巨輪泰坦尼克號(hào)與冰山相撞而沉沒(méi)，次日凌晨2時(shí)20分左右，船體斷裂成兩截，沉入大西洋底3700米處。這場(chǎng)海難被認(rèn)為是20世紀(jì)人間十大災(zāi)難之一。1985年，泰坦尼克號(hào)的沉船遺骸在北大西洋兩英里半的海底被發(fā)現(xiàn)。

泰坦尼克號(hào)案例2200多名船員及乘客中，逾1500人喪生。二十世紀(jì)九十年代美國(guó)福斯電影公司、派拉蒙影業(yè)公司將泰坦尼克號(hào)拍成電影，這部愛(ài)情片也成為時(shí)代的經(jīng)典，家喻戶曉。從Kaggle網(wǎng)站下載Titanic數(shù)據(jù)集，我們可以通過(guò)Python對(duì)數(shù)據(jù)進(jìn)行解讀。數(shù)據(jù)集共有12列，目標(biāo)變量Survived表示的是該乘客是否獲救，1表示獲救，0表示未獲救，其余都是乘客的個(gè)人信息。泰坦尼克號(hào)案例11列個(gè)人信息包括：PassengerId=>乘客IDPclass=>艙位等級(jí)(1/2/3等艙位)Name=>乘客姓名Sex=>性別Age=>年齡SibSp=>堂兄弟/妹個(gè)數(shù)Parch=>父母與小孩個(gè)數(shù)Ticket=>船票信息Fare=>票價(jià)Cabin=>客艙Embarked=>登船港口(C/Q/S港口)泰坦尼克號(hào)案例首先將數(shù)據(jù)導(dǎo)入Python中，Pandas會(huì)讀取數(shù)據(jù)轉(zhuǎn)換為一個(gè)二維數(shù)據(jù)框，類似表格。泰坦尼克號(hào)案例Pandas中有匯總和描述性統(tǒng)計(jì)的函數(shù)，可以