電子商務(wù)數(shù)據(jù)分析與應(yīng)用（Excel版） 課件 項(xiàng)目五 數(shù)據(jù)導(dǎo)入與預(yù)處理

電子商務(wù)數(shù)據(jù)分析與應(yīng)用第5章數(shù)據(jù)導(dǎo)入與預(yù)處理本章提綱

數(shù)據(jù)的導(dǎo)入導(dǎo)出5.1

數(shù)據(jù)預(yù)處理方法5.2

數(shù)據(jù)的基本處理操作5.3本章提綱

實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出

實(shí)訓(xùn)二、數(shù)據(jù)預(yù)處理方法

實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作本章思維導(dǎo)圖思政園地案例1蜜雪冰城自救與救災(zāi)【思政教育元素：培養(yǎng)社會(huì)責(zé)任】2021年7月河南遭遇了罕見的極端強(qiáng)降雨天氣，許多地區(qū)遭遇特大水災(zāi)，其中總部在受災(zāi)中心鄭州的蜜雪冰城積極展開自救與救援行動(dòng)。蜜雪冰城成立救災(zāi)指揮中心，以黨員帶頭對(duì)旗下員工情況進(jìn)行逐一排查，全力保障員工生命安全，同時(shí)成立捐款捐物小組向重災(zāi)區(qū)域運(yùn)送物資，并捐款2200萬(wàn)元用于抗洪救災(zāi)和災(zāi)后重建。蜜雪冰城在深處災(zāi)區(qū)遭受打擊的情況下，依然選擇挺身而出保障員工安全，幫助災(zāi)區(qū)重建，凸顯了企業(yè)的格局。面對(duì)重大災(zāi)情，我國(guó)的電子商務(wù)企業(yè)在發(fā)展壯大不斷擴(kuò)張的同時(shí)大力回報(bào)社會(huì)，彰顯了強(qiáng)烈的企業(yè)社會(huì)責(zé)任。思政園地案例2“丑萌”馬踏飛燕火出圈【思政教育元素：扎根傳統(tǒng)文化，增強(qiáng)文化自信】銅奔馬，或者更為大家熟知的“馬踏飛燕”，為東漢青銅器，是甘肅省博物館鎮(zhèn)館之寶。銅奔馬造型矯健精美，顯示一種勇往直前的豪情壯志，是中華民族偉大氣質(zhì)的象征。而正是這么一件擁有厚重歷史的文物，最近在網(wǎng)絡(luò)上以一種意想不到的方式火出圈了。2022年六月，甘肅省博物館推出了一款以“銅奔馬”為原型的文創(chuàng)玩偶，丑萌的綠馬一邊呲牙咧嘴一邊踩著腳底下的燕子，被踩著的飛燕翻著白眼十分“魔性”。這個(gè)別出心裁輕松搞笑的玩偶一推出就受到網(wǎng)友們的喜愛與調(diào)侃，同時(shí)吸引了許多關(guān)注。這個(gè)玩偶讓人們知道文創(chuàng)產(chǎn)品也可以很接地氣，也可以讓厚重的文物變得新潮有趣，活靈活現(xiàn)。案例導(dǎo)入

隨著大數(shù)據(jù)和人工智能的快速發(fā)展，當(dāng)今的消費(fèi)者與世界高度相連，一個(gè)公司想要獲得更好的商業(yè)成績(jī)需要通過大數(shù)據(jù)為他的每個(gè)客戶做出個(gè)性化的精準(zhǔn)服務(wù)。為此2013年，擁有145年歷史的大都會(huì)人壽保險(xiǎn)公司建立了名為MetLiftWall的新系統(tǒng)，該系統(tǒng)從大都會(huì)人壽70多個(gè)不同的管理系統(tǒng)中收集大量的信息數(shù)據(jù)，這些數(shù)據(jù)之前有許多都是不聯(lián)網(wǎng)的獨(dú)立存在，存在著大量的數(shù)據(jù)冗余，建立系統(tǒng)后又經(jīng)過多年的努力大都會(huì)人壽成功解決了該項(xiàng)問題。

上文所匯總的數(shù)據(jù)剛開始很難進(jìn)行使用，在大數(shù)據(jù)分析之前我們需要確保這些分析數(shù)據(jù)滿足分析模型的需求，因此數(shù)據(jù)預(yù)處理環(huán)節(jié)十分重要，它可以將缺失的數(shù)據(jù)補(bǔ)充，冗余的數(shù)據(jù)變得簡(jiǎn)潔，復(fù)雜混亂的數(shù)據(jù)格式統(tǒng)一。你聽說(shuō)過數(shù)據(jù)預(yù)處理嗎？繼續(xù)閱讀本章你可以對(duì)數(shù)據(jù)預(yù)處理?yè)碛懈羁痰牧私狻?.1數(shù)據(jù)的導(dǎo)入導(dǎo)出數(shù)據(jù)的導(dǎo)入導(dǎo)出作用：起到備份、存檔的作用；轉(zhuǎn)換為需要的數(shù)據(jù)格式和文件類型。數(shù)據(jù)導(dǎo)入導(dǎo)出分類：數(shù)據(jù)庫(kù)文件導(dǎo)出成文本文件；文本文件導(dǎo)入成數(shù)據(jù)庫(kù)文件；數(shù)據(jù)庫(kù)文件與數(shù)據(jù)庫(kù)文件之間的導(dǎo)入導(dǎo)出。使用Excel從文本文件導(dǎo)入數(shù)據(jù)有兩種方法：可以在Excel中打開它，也可以將其導(dǎo)入為外部數(shù)據(jù)區(qū)域。5.2數(shù)據(jù)預(yù)處理方法5.2.1數(shù)據(jù)清理的方法5.2.2數(shù)據(jù)融合的方法5.2.3數(shù)據(jù)變換的方法5.2.4數(shù)據(jù)規(guī)約的方法5.2.1數(shù)據(jù)清理的方法數(shù)據(jù)清理是數(shù)據(jù)準(zhǔn)備過程中最花費(fèi)時(shí)間、最乏味的，但也是最重要的一步。該步驟可以有效的減少學(xué)習(xí)過程中可能出現(xiàn)的相互矛盾的情況。初始獲得的數(shù)據(jù)主要有以下幾種情況需要處理。（1）含噪聲數(shù)據(jù)

（2）錯(cuò)誤數(shù)據(jù)

（3）缺失數(shù)據(jù)

（4）冗余數(shù)據(jù)5.2.1數(shù)據(jù)清理的方法1.含噪聲數(shù)據(jù)目前處理此類數(shù)據(jù)最為廣泛的技術(shù)是應(yīng)用數(shù)據(jù)平滑方法。分箱技術(shù)通過檢測(cè)周圍相應(yīng)屬性值進(jìn)行局部數(shù)據(jù)平滑。分箱的方法很多，主要有按箱平均值平滑、按箱中值平滑和按箱邊界值平滑。對(duì)于含噪聲數(shù)據(jù)，尤其對(duì)于孤立點(diǎn)或異常數(shù)據(jù)，是不可以隨便以刪除方式進(jìn)行處理的。

2.錯(cuò)誤數(shù)據(jù)對(duì)帶有錯(cuò)誤數(shù)據(jù)的數(shù)據(jù)元組，結(jié)合數(shù)據(jù)所反映的實(shí)際問題，進(jìn)行分析、更改、刪除或忽略。同時(shí)也可結(jié)合模糊數(shù)學(xué)的隸屬函數(shù)尋找約束函數(shù)，或者根據(jù)前一段歷史數(shù)據(jù)趨勢(shì)對(duì)當(dāng)前數(shù)據(jù)進(jìn)行修正。5.2.1數(shù)據(jù)清理的方法3.缺失數(shù)據(jù)補(bǔ)充缺失數(shù)據(jù)的主要辦法包括：（1）線性差值法，用其周圍數(shù)據(jù)點(diǎn)的信息來(lái)代替（2）使用一個(gè)全局常量或?qū)傩缘钠骄堤畛淇杖敝担?）對(duì)數(shù)據(jù)的部分屬性進(jìn)行修復(fù)（4）忽略該數(shù)據(jù)元組5.2.1數(shù)據(jù)清理的方法4.冗余數(shù)據(jù)冗余數(shù)據(jù)包括屬性冗余和屬性數(shù)據(jù)冗余，若通過因子分析或經(jīng)驗(yàn)等方法確信部分屬性的相關(guān)數(shù)據(jù)足以對(duì)信息進(jìn)行挖掘和決策，可通過用相關(guān)數(shù)學(xué)方法找出具有最大影響屬性因子的屬性數(shù)據(jù)，其余屬性則可刪除。若某屬性的部分?jǐn)?shù)據(jù)足以反映該問題的信息，則其余的可刪除。若經(jīng)過分析，這部分冗余數(shù)據(jù)可能還有他用則先保留并進(jìn)行備注說(shuō)明。5.2.2數(shù)據(jù)融合的方法通過數(shù)據(jù)融合（信息融合）產(chǎn)生比單一信息源更準(zhǔn)確、更完全、更可靠的數(shù)據(jù)進(jìn)行估計(jì)和判斷，然后存入數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)挖掘模塊中。常見的數(shù)據(jù)融合方法5.2.3數(shù)據(jù)變換的方法數(shù)據(jù)變換是采用線性或非線性的數(shù)學(xué)變換方法將多維數(shù)據(jù)壓縮成較少維數(shù)的數(shù)據(jù)，消除它們?cè)跁r(shí)間、空間、屬性及精度等特征表現(xiàn)方面的差異。這類方法雖然對(duì)原始數(shù)據(jù)都有一定的損害，但其結(jié)果往往具有更大的實(shí)用性。常見的數(shù)據(jù)變換方法5.2.4數(shù)據(jù)規(guī)約的方法數(shù)據(jù)經(jīng)過去噪處理后，需根據(jù)相關(guān)要求對(duì)數(shù)據(jù)的屬性進(jìn)行相應(yīng)處理。數(shù)據(jù)規(guī)約就是在減少數(shù)據(jù)存儲(chǔ)空間的同時(shí)盡可能保證數(shù)據(jù)的完整性，或得比原始數(shù)據(jù)小得多的數(shù)據(jù)，并將數(shù)據(jù)以合乎要求的方式表示。常見的數(shù)據(jù)規(guī)約方法實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出（一）數(shù)據(jù)導(dǎo)入可以將收集到的數(shù)據(jù)直接填寫在Excel的單元格中，也可以將多種格式的數(shù)據(jù)文件導(dǎo)入到Excel工作表中。單擊導(dǎo)航欄“數(shù)據(jù)”，最左側(cè)可以選擇將不同格式的數(shù)據(jù)導(dǎo)入Excel。（1）將文本文件導(dǎo)入Excel表格（2）將CSV文件導(dǎo)入Excel工作表

實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出1.將文本文件導(dǎo)入Excel表格（1）文本文件（2）打開并創(chuàng)建Excel文件，點(diǎn)擊“數(shù)據(jù)”—“自文本”實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出1.將文本文件導(dǎo)入Excel表格（3）在“導(dǎo)入文本文件”窗口中選擇需要導(dǎo)入的文件，點(diǎn)擊“導(dǎo)入”（4）在彈出的“文本導(dǎo)入向?qū)А睂?duì)話框中選擇“分隔符號(hào)”，點(diǎn)擊“下一步”實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出1.將文本文件導(dǎo)入Excel表格（5）“文本導(dǎo)入向?qū)А睂?duì)話框中選擇“Tab鍵”，點(diǎn)擊“下一步”（6）“文本導(dǎo)入向?qū)А睂?duì)話框選擇“常規(guī)”，點(diǎn)擊“完成”實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出1.將文本文件導(dǎo)入Excel表格（7）彈出對(duì)話框“導(dǎo)入數(shù)據(jù)”，選擇“新工作表”，按“確定”按鈕即可（8）返回Excel工作表，就可以看到數(shù)據(jù)的導(dǎo)入情況實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出2.將CSV文件導(dǎo)入Excel工作表（1）CSV文件（2）導(dǎo)入前再次確認(rèn)數(shù)據(jù)的格式、編碼、分隔符、數(shù)據(jù)行數(shù)等，此處默認(rèn)，點(diǎn)擊“加載”（3）數(shù)據(jù)導(dǎo)入之后的Excel文件實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出（二）數(shù)據(jù)導(dǎo)出將Excel數(shù)據(jù)導(dǎo)出到其他操作軟件中，這里以將Excel中的數(shù)據(jù)導(dǎo)出到Word中為例（1）打開Word，點(diǎn)擊“插入”“對(duì)象”（2）在彈出的“對(duì)象”對(duì)話框中，選擇“由文件創(chuàng)建”，并點(diǎn)擊“瀏覽”實(shí)訓(xùn)一、數(shù)據(jù)的導(dǎo)入與導(dǎo)出將Excel數(shù)據(jù)導(dǎo)出到其他操作軟件中，這里以將Excel中的數(shù)據(jù)導(dǎo)出到Word中為例（3）選擇需要導(dǎo)出的Excel數(shù)據(jù)源，點(diǎn)擊插入（4）在“對(duì)象”對(duì)話框中點(diǎn)擊“確定”（5）返回Word文件，就可以看到從Excel導(dǎo)出的數(shù)據(jù)實(shí)訓(xùn)二、數(shù)據(jù)預(yù)處理1.數(shù)據(jù)清理某price屬性值排序后為2，4，6，6，9，12，12，14，19，則采用各種分箱方法進(jìn)行處理的結(jié)果如下表所示。除采用分箱方法之外，還可以應(yīng)用聚類技術(shù)檢測(cè)異常數(shù)據(jù)，發(fā)現(xiàn)孤立點(diǎn)并進(jìn)行修正，或者利用回歸函數(shù)或時(shí)間序列分析的方法進(jìn)行修正。另外，計(jì)算機(jī)和人工相結(jié)合的方式也非常有效。對(duì)于含噪聲數(shù)據(jù)，尤其是孤立點(diǎn)數(shù)據(jù)，是不可以隨便以刪除的方式進(jìn)行處理的。由于某些孤立點(diǎn)數(shù)據(jù)和離群數(shù)據(jù)代表了某些有特定意義的、重要的潛在知識(shí)，因此，對(duì)于孤立點(diǎn)數(shù)據(jù)應(yīng)將其先放入數(shù)據(jù)庫(kù)，而不進(jìn)行任何處理。當(dāng)然，如果結(jié)合專業(yè)知識(shí)分析，確定該數(shù)據(jù)無(wú)用，那么可進(jìn)行刪除處理。實(shí)訓(xùn)二、數(shù)據(jù)預(yù)處理2.數(shù)據(jù)規(guī)范化處理例如，某電商平臺(tái)商家銷售的產(chǎn)品“水杯”在過去半年內(nèi)的月銷售量（件）分別為12，14，6，5，23，10，借助這組數(shù)據(jù)作為數(shù)據(jù)規(guī)范化的樣本數(shù)據(jù)，采用最小-最大標(biāo)準(zhǔn)化及z-score標(biāo)準(zhǔn)化分別進(jìn)行處理。最小-最大標(biāo)準(zhǔn)化處理：在該組數(shù)據(jù)中，最大值為23，最小值為5，為使結(jié)果均落在[0,1]區(qū)間，在進(jìn)行轉(zhuǎn)化后，上述數(shù)值依次變?yōu)?.3889,0.5,0.0556,0,1,0.2778。z-score標(biāo)準(zhǔn)化：在該組數(shù)據(jù)中，μ為11.67，σ為6.53，則上述數(shù)值依次變?yōu)?.0505,0.3568,-0.8683,-1.0153,1.7351,-0.2557。實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作5.3.1重復(fù)數(shù)據(jù)處理5.3.2缺失數(shù)據(jù)處理5.3.3錯(cuò)誤數(shù)據(jù)處理實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作（一）重復(fù)數(shù)據(jù)處理采集得到的原始數(shù)據(jù)通常存在重復(fù)情形，對(duì)于重復(fù)數(shù)據(jù)如何識(shí)別和去重，通過Excel介紹兩種常用的方法。（1）高級(jí)篩選法

（2）條件格式法

實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作1.高級(jí)篩選法（1）如果只是需要將目標(biāo)數(shù)據(jù)的非重復(fù)值篩選出來(lái)，可以選擇“數(shù)據(jù)”選項(xiàng)卡下“排序篩選”組中的“高級(jí)”按鈕（2）在彈出的對(duì)話框中進(jìn)行設(shè)置（3）點(diǎn)擊“確定”后，紅框部分為“來(lái)源”數(shù)據(jù)非重復(fù)項(xiàng)的篩選結(jié)果。實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作2.條件格式法（1）選中需要標(biāo)識(shí)重復(fù)值的區(qū)域，選擇“開始”—“條件格式”—“突出顯示單元格規(guī)則”—“重復(fù)值”（2）在彈出的對(duì)話框中把重復(fù)的數(shù)據(jù)標(biāo)注為紅色，點(diǎn)擊確定（3）重復(fù)數(shù)據(jù)處理部分結(jié)果實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作

（二）缺失數(shù)據(jù)處理Excel表中如果出現(xiàn)缺失數(shù)據(jù)，一般表示為空值或者錯(cuò)誤表示符，運(yùn)用“定位條件”功能可以進(jìn)行缺失數(shù)據(jù)的處理。（1）原始數(shù)據(jù)中G列“上次進(jìn)貨數(shù)量”有部分值缺失。現(xiàn)要求將其全部標(biāo)記為0，便于后期數(shù)據(jù)分析。（2）選定G列，選擇“開始”—“查找和選擇”—“定位條件”（3）在“定位條件”對(duì)話框中，選擇“空值”，點(diǎn)擊“確定”（4）直接輸入“0”，按“Ctrl+Enter”，空值單元格一次性全部輸入“0”實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作（三）錯(cuò)誤數(shù)據(jù)處理使用Excel能夠控制和檢查數(shù)據(jù)統(tǒng)計(jì)中存在的錯(cuò)誤。（1）假設(shè)在源數(shù)據(jù)表中存在一列“銷售情況”，0表示銷售一般，1表示銷售良好，2表示銷售極好，其他所有數(shù)據(jù)均為錯(cuò)誤數(shù)據(jù)（2）選中H列，選擇“數(shù)據(jù)”—“數(shù)據(jù)驗(yàn)證”實(shí)訓(xùn)三、數(shù)據(jù)的基本處理操作（3）在彈出的對(duì)話框中進(jìn)行設(shè)置（4）選擇“數(shù)據(jù)驗(yàn)證”—“圈釋無(wú)效數(shù)據(jù)”（5）錯(cuò)誤數(shù)據(jù)處理結(jié)果本章知識(shí)小結(jié)本章主要學(xué)習(xí)運(yùn)用Excel進(jìn)行數(shù)據(jù)的導(dǎo)入導(dǎo)出操作，對(duì)重復(fù)、缺失、錯(cuò)誤數(shù)據(jù)的基本處理操作。從數(shù)據(jù)的清理、數(shù)據(jù)的融合、數(shù)據(jù)的變換以及數(shù)據(jù)的規(guī)約四個(gè)方面，學(xué)習(xí)了數(shù)據(jù)的預(yù)處理操作。通過本章的學(xué)習(xí)，旨在掌握利用Excel處理數(shù)據(jù)的基本方法以及了解數(shù)據(jù)預(yù)處理的基本操作。課后提升案例1數(shù)據(jù)預(yù)處理在網(wǎng)絡(luò)社區(qū)數(shù)據(jù)分析中的應(yīng)用小紅書是一個(gè)生活方式分享社區(qū)。小紅書月活躍用戶數(shù)已過億，其中70%的新增用戶是90

后。小紅書通過大數(shù)據(jù)和人工智能技術(shù)將用戶線上分享的消費(fèi)體驗(yàn)內(nèi)容精準(zhǔn)匹配給對(duì)它感興趣的其他用戶，從而引發(fā)社區(qū)互動(dòng)，再推動(dòng)其他用戶到線下消費(fèi)，這些用戶反過來(lái)又會(huì)進(jìn)行更多的線上分享，最終形成一個(gè)正循環(huán)。小紅書已成為用戶線上相互交流發(fā)表意見的重要網(wǎng)絡(luò)社區(qū)。如果希望通過收集主題的特征信息對(duì)評(píng)論主題進(jìn)行關(guān)聯(lián)規(guī)則挖掘，那么數(shù)據(jù)預(yù)處理會(huì)成為一個(gè)關(guān)鍵環(huán)節(jié)。1）評(píng)論主題兩大因素的提取把每個(gè)評(píng)論主題的信息分為主題誘發(fā)的原因和主題影響力結(jié)果兩大因素。主題誘發(fā)的原因包含評(píng)論主題發(fā)表用戶、發(fā)生時(shí)間、IP地址、涉及人數(shù)、主題類型等因素；主題影響力結(jié)果指該評(píng)論主題的影響作用。課后提升2）評(píng)論主題的數(shù)據(jù)清理提取出評(píng)論主題誘發(fā)的原因和主題影響力結(jié)果后，接下來(lái)對(duì)評(píng)論主題的信息進(jìn)行數(shù)據(jù)清理，具體步驟如下。（1）清理空缺值。對(duì)主題誘發(fā)的原因采用忽略元組法，即直接刪除數(shù)據(jù)庫(kù)中某個(gè)記錄元組的屬性值都為空或缺少大量數(shù)值的數(shù)據(jù)，因?yàn)檫@些數(shù)據(jù)沒有太大的挖掘價(jià)值。對(duì)于評(píng)論的主題信息屬性值空缺數(shù)目較少的記錄，采用設(shè)置默認(rèn)值的方式填補(bǔ)空值。（2）泛化處理。針對(duì)不統(tǒng)一的數(shù)據(jù)，必須對(duì)其進(jìn)行規(guī)范化處理，以減少數(shù)據(jù)之間的差異。例如，評(píng)論的主題內(nèi)容大多是商品的質(zhì)量問題、耐久性問題和材質(zhì)問題等，則對(duì)這三個(gè)主題進(jìn)行泛化處理，全部