大數(shù)據(jù)管理與應用概論 課件 7.2 基于商務大數(shù)據(jù)的管理決策分析

7.2商務大數(shù)據(jù)的管理決策分析商務大數(shù)據(jù)的收集商務大數(shù)據(jù)是由消費者和企業(yè)商務行為產(chǎn)生的數(shù)據(jù)，分布在企業(yè)內(nèi)部系統(tǒng)、各電商平臺、第三方服務平臺、社交媒體等，商務大數(shù)據(jù)按收集來源可分為以下三種類型。包括企業(yè)的內(nèi)部信息和外部信息。企業(yè)通過在數(shù)據(jù)采集端上部署大量數(shù)據(jù)庫，并在這些數(shù)據(jù)庫之間進行負載均衡和分片，完成數(shù)據(jù)的采集獲取工作。離線數(shù)據(jù)包括web服務器上的用戶訪問行為、web用戶的財產(chǎn)記錄、網(wǎng)絡監(jiān)控的流量管理等。這類日志一般為流式數(shù)據(jù)，企業(yè)通過日志采集工具來獲得實時數(shù)據(jù)。實時數(shù)據(jù)指在網(wǎng)絡空間交互過程中產(chǎn)生的大量數(shù)據(jù)，例如抖音、微博等社交媒體產(chǎn)生的數(shù)據(jù)。個體用戶大部分采用API的方法或者爬蟲來獲取互聯(lián)網(wǎng)數(shù)據(jù)。互聯(lián)網(wǎng)數(shù)據(jù)商務大數(shù)據(jù)質(zhì)量標準對于收集得到的商務大數(shù)據(jù)質(zhì)量，有對其進行評估的標準，以下幾個維度分別從不同方面評估數(shù)據(jù)的質(zhì)量。評價指標具體要求真實性數(shù)據(jù)必須真實反映客觀的實體存在或業(yè)務。真實的數(shù)據(jù)是經(jīng)營者正確經(jīng)營決策的第一手資料。

準確性用于分析和識別不準確或無效的數(shù)據(jù)。不可靠的數(shù)據(jù)可能會導致嚴重的問題，影響企業(yè)的決策。唯一性不能出現(xiàn)重復數(shù)據(jù)。冗余的數(shù)據(jù)可能導致業(yè)務無法協(xié)同，決策產(chǎn)生偏差等問題。完整性用來度量哪些數(shù)據(jù)是缺失的或哪些數(shù)據(jù)不可用。任何數(shù)據(jù)集都可能有缺口和數(shù)據(jù)缺失，但是有些缺失的數(shù)據(jù)可能包含重要的信息。一致性所有實例之間的數(shù)據(jù)必須保持一致。它用來描述同一信息主體在不同的數(shù)據(jù)集中信息屬性是否相同，各實體、屬性是否符合一致性約束關系。及時性能否在需要的時候獲取到數(shù)據(jù)。企業(yè)的數(shù)據(jù)處理速度越快，及時性就越好，企業(yè)的業(yè)務處理效率和管理效率就越高。關聯(lián)性指存在數(shù)據(jù)關聯(lián)的數(shù)據(jù)關系缺失或錯誤，例如：函數(shù)關系、相關系數(shù)、主外鍵關系、索引關系等。存在數(shù)據(jù)關聯(lián)性問題，會直接影響數(shù)據(jù)分析的結果，進而影響管理決策。商務大數(shù)據(jù)質(zhì)量提升方法為了提升數(shù)據(jù)質(zhì)量，去除“臟”數(shù)據(jù)，得到干凈一致的數(shù)據(jù)，常采用數(shù)據(jù)預處理的方法，數(shù)據(jù)預處理主要分為幾下幾個步驟。數(shù)據(jù)清洗重復數(shù)據(jù)清洗缺失數(shù)據(jù)清洗噪聲數(shù)據(jù)清洗數(shù)據(jù)集成模式集成實體識別問題數(shù)據(jù)冗余數(shù)據(jù)值沖突數(shù)據(jù)歸約數(shù)維消減數(shù)據(jù)壓縮離散化......數(shù)據(jù)變換函數(shù)變換數(shù)據(jù)規(guī)范化獲取初始數(shù)據(jù)數(shù)據(jù)分析商務大數(shù)據(jù)分析方法大數(shù)據(jù)分析指的是通過適當?shù)募夹g從大量數(shù)據(jù)中獲取有用信息的過程。根據(jù)運籌研究與管理科學研究所，商務大數(shù)據(jù)的分析被定義以下三個層次。描述性分析預測性分析規(guī)范性分析了解與數(shù)據(jù)相關的具體情況，分析其潛在趨勢和原因。采用統(tǒng)計技術和數(shù)據(jù)挖掘技術，確定未來可能發(fā)生什么。識別正在和將要發(fā)生的事情，做出決策以盡可能達到最佳績效。商務大數(shù)據(jù)的可視化分析商務大數(shù)據(jù)的可視化是大數(shù)據(jù)生命周期管理的最后一步，也是最重要的一步。為實現(xiàn)信息的有效傳達，挖掘數(shù)據(jù)背后隱藏的價值，數(shù)據(jù)可視化應包含以下4個特征。直觀化關聯(lián)化交互性藝術性數(shù)據(jù)可視化商務大數(shù)據(jù)可視化示例-漏斗圖商務大數(shù)據(jù)的可視化分析商業(yè)大數(shù)據(jù)的可視化以其極高的研究價值在國內(nèi)外都備受重視，但也面臨著如下三點挑戰(zhàn)：數(shù)據(jù)快速動態(tài)變化可感知的交互的擴展性對復雜高維數(shù)據(jù)分析能力不足常以流式數(shù)據(jù)形式存在，缺乏流數(shù)據(jù)的實時分析與可視化方法。從大規(guī)模數(shù)據(jù)庫中查詢數(shù)據(jù)可能導致高延遲，使交互率降低。當前的軟件系統(tǒng)以統(tǒng)計和基本分析為主，分析能力尚有欠缺。商務大數(shù)據(jù)對推薦系統(tǒng)的影響與傳統(tǒng)推薦系統(tǒng)不同，在商務大數(shù)據(jù)環(huán)境下，推薦系統(tǒng)數(shù)據(jù)的規(guī)模、類型、形式、價值以及推薦實時性都發(fā)生了顯著的變化，這給推薦系統(tǒng)帶來了一些挑戰(zhàn)。特點傳統(tǒng)推薦系統(tǒng)大數(shù)據(jù)環(huán)境下的推薦系統(tǒng)數(shù)據(jù)規(guī)模數(shù)據(jù)規(guī)模小數(shù)據(jù)規(guī)模大，從TB級別躍升到PB級別數(shù)據(jù)類型以顯式評分數(shù)據(jù)為主以隱式反饋數(shù)據(jù)為主數(shù)據(jù)形式以動態(tài)形式為主，更新頻繁以靜態(tài)形式存儲在硬盤中，更新少，存儲時間長數(shù)據(jù)價值數(shù)據(jù)價值密度高數(shù)據(jù)價值密度低推薦實時性實時性要求低實時性要求高推薦系統(tǒng)面臨的挑戰(zhàn)計算復雜性的提升用戶隱式興趣的發(fā)現(xiàn)可擴展性問題......商務大數(shù)據(jù)對推薦系統(tǒng)的影響根據(jù)功能的不同，商務大數(shù)據(jù)環(huán)境下的推薦系統(tǒng)可以分為以下四個層面。商務大數(shù)據(jù)對推薦系統(tǒng)的影響商務大數(shù)據(jù)環(huán)境下的推薦系統(tǒng)通常包括數(shù)據(jù)建模、用戶建模、推薦引擎和用戶接口四個部分。商務大數(shù)據(jù)對預測分析的影響商務大數(shù)據(jù)環(huán)境下的預測分析主要是利用對商業(yè)領域產(chǎn)生的多源數(shù)據(jù)的洞察來提供關于未來的商務智能。從數(shù)據(jù)源角度看，商務大數(shù)據(jù)環(huán)境下的預測分析需要拓展以下幾種關鍵技術領域的研究。文本分析，是指從非結構化文本中提取有用的信息和知識的過程。常見的文本挖掘技術包括信息提取、主題建模、分類、聚類、觀點挖掘等。文本分析網(wǎng)站分析社交網(wǎng)絡分析移動分析網(wǎng)站分析旨在從網(wǎng)絡文檔和服務中自動檢索、提取和評估用于知識發(fā)現(xiàn)的信息。網(wǎng)站分析研究的一個主要新興組成部分是云計算平臺和服務的開發(fā)。社交網(wǎng)絡包含大量的鏈接和內(nèi)容數(shù)據(jù)，在社交網(wǎng)絡的背景下有兩個主要的研究方向：基于鏈接的結構分析和基于內(nèi)容的分析。隨著移動計算的快速發(fā)展，越來越多的移動終端在全球范圍內(nèi)部署，網(wǎng)絡服務的輕量級編程模型為移動web服務的快速發(fā)展做出了貢獻。商務大數(shù)據(jù)對精準營銷的影響商務大數(shù)據(jù)提供了消費者行為、購買歷史、購買頻率和許多方面的信息，一些分析工具和軟件可以從數(shù)據(jù)中獲得相關的見解，從而創(chuàng)造精準營銷優(yōu)勢。消費者、活動和各項組織資源結構化、半結構化和非結構化數(shù)據(jù)數(shù)據(jù)采集與集成結構化、半結構化和非結構化數(shù)據(jù)商務大數(shù)據(jù)分析消費者洞察分析動態(tài)和適應能力分析商務大數(shù)據(jù)對精準營銷的影響商務大數(shù)據(jù)的出現(xiàn)對于傳統(tǒng)營銷組合中的4P產(chǎn)生了重要的影響。產(chǎn)品價格渠道協(xié)助新產(chǎn)品和新理念的設計分析顧客的價格敏感度確定銷售產(chǎn)品的正確渠道的信息促銷預測客戶的反應并提出相關的營銷策略商務大數(shù)據(jù)對精準營銷的影響商務大數(shù)據(jù)的出現(xiàn)對營銷組合的4P進行了擴展，給予了營銷人員更好的合作視角，新的4P包含了以下四個部分。4PProductPlacePromotionPriceNew4PPeopleProcessesProgramPerformance商務大數(shù)據(jù)對精準營銷的影響商務大數(shù)據(jù)分析有助于企業(yè)開展與消費者相關的營銷活動，從而吸引顧客購買產(chǎn)品和服務。麥當勞根據(jù)時間、天氣和顧客行為數(shù)據(jù)進行動態(tài)化的營銷活動制定。商務大數(shù)據(jù)對精準營銷的影響商務大數(shù)據(jù)分析有助于企業(yè)確定產(chǎn)生創(chuàng)造力的最有效方式，促進創(chuàng)造力的正確結構，從而創(chuàng)造競爭優(yōu)勢。Airbnb通過商務大數(shù)據(jù)分析不同國家旅客的出行需求，并對界面不斷調(diào)整，提高地區(qū)轉(zhuǎn)化率。商務大數(shù)據(jù)對精準營銷的影響商務大數(shù)據(jù)分析有助于企業(yè)持續(xù)監(jiān)控營銷活動，確定各種營銷活動、促銷活動是否成功，以確?？蛻舻挠∠蠛蛥⑴c產(chǎn)生積極影響。美國零食制造公司Nabis