《商業(yè)分析概論》商業(yè)信息采集

商業(yè)分析概論商業(yè)信息采集主要內(nèi)容商業(yè)信息源商業(yè)信息采集方法商業(yè)信息常用采集途徑商業(yè)信息新興采集工具3.1商業(yè)信息源企業(yè)內(nèi)部商業(yè)信息類型生產(chǎn)技術(shù)營(yíng)銷財(cái)務(wù)人事運(yùn)營(yíng)管理企業(yè)外部商業(yè)信息類型供應(yīng)商/制造商物流客戶競(jìng)爭(zhēng)……廣泛的數(shù)據(jù)源，如：互聯(lián)網(wǎng)數(shù)據(jù)（即，點(diǎn)擊流，社交媒體，社交網(wǎng)絡(luò)鏈接）一手研究（即調(diào)查，實(shí)驗(yàn)，觀察）二手研究（即競(jìng)爭(zhēng)和市場(chǎng)數(shù)據(jù)，行業(yè)報(bào)告，用戶數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)位置數(shù)據(jù)（即移動(dòng)設(shè)備的數(shù)據(jù)，地理空間數(shù)據(jù)）圖像數(shù)據(jù)（即視頻，衛(wèi)星圖像，監(jiān)控）供應(yīng)鏈數(shù)據(jù)（即電子數(shù)據(jù)交換，供應(yīng)商目錄和價(jià)格，質(zhì)量信息）

設(shè)備數(shù)據(jù)（即傳感器，PLC，射頻器件，LIM，遙感）3.2商業(yè)數(shù)據(jù)獲取與采集商業(yè)數(shù)據(jù)來(lái)源社交網(wǎng)絡(luò)企業(yè)信息系統(tǒng)泛互聯(lián)網(wǎng)商業(yè)信息來(lái)源外部商業(yè)信息線上專利數(shù)據(jù)庫(kù)上市公司數(shù)據(jù)庫(kù)搜索引擎Web2.0和社交網(wǎng)絡(luò)論文、報(bào)刊數(shù)據(jù)庫(kù)企業(yè)網(wǎng)站行業(yè)網(wǎng)站政府網(wǎng)站政府出版物行業(yè)展會(huì)線下人際網(wǎng)絡(luò)人際網(wǎng)絡(luò)會(huì)議逆向工程線下內(nèi)部商業(yè)信息各種內(nèi)部信息系統(tǒng)電子郵件線上即時(shí)通訊工具記錄內(nèi)部的網(wǎng)絡(luò)社區(qū)各類電子表格和報(bào)表3.2商業(yè)信息采集和存儲(chǔ)方法采集調(diào)研爬蟲(chóng)購(gòu)買(mǎi)。。。存儲(chǔ)數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)思考對(duì)于電子商務(wù)網(wǎng)站來(lái)說(shuō)，需要關(guān)注哪些客戶信息？這些客戶信息來(lái)源于哪里？客戶信息客戶行為數(shù)據(jù)客戶基本信息客戶的訂單記錄信息客戶對(duì)產(chǎn)品的評(píng)價(jià)信息社交媒體數(shù)據(jù)電商用戶行為數(shù)據(jù)來(lái)源服務(wù)器日志主要涉及客戶的訪問(wèn)日志以及客戶的引用日志兩個(gè)主要部分。訪問(wèn)日志。訪問(wèn)日志記錄了客戶在購(gòu)物過(guò)程中訪問(wèn)了哪些網(wǎng)站、執(zhí)行了哪些操作或者命令。這些信息或者數(shù)據(jù)通常被記錄并且完好地存儲(chǔ)在日志下含的一個(gè)子文件夾里面。通過(guò)對(duì)客戶訪問(wèn)日志的解讀，我們可以清晰地了解客戶曾經(jīng)的瀏覽記錄與購(gòu)物經(jīng)歷。引用日志。引用日志通常記錄了以下信息，譬如，客戶究竟是從什么位置登錄并且訪問(wèn)網(wǎng)站的？該訪問(wèn)網(wǎng)站的鏈接或者路徑又是怎樣的？。這些工作往往可以通過(guò)URL，即統(tǒng)一資源定位器進(jìn)行實(shí)現(xiàn)。

電商用戶行為數(shù)據(jù)來(lái)源服務(wù)器日志W(wǎng)eb日志內(nèi)容:

CookieCookie是用戶在瀏覽網(wǎng)站時(shí)留在用戶瀏覽器里的信息。Cookie會(huì)記錄下用戶訪問(wèn)的站點(diǎn)。當(dāng)用戶再次訪問(wèn)該站點(diǎn)時(shí)，Cookie就能知道用戶的身份或者偏好究竟如何。盡管人們普遍認(rèn)為Cookie的使用，存在將個(gè)人隱私或者數(shù)據(jù)外泄的可能性，并引發(fā)了范圍較大的辯論，但是毋庸置疑的是，通過(guò)Cookie存儲(chǔ)的客戶數(shù)據(jù)和信息分析，電商網(wǎng)站可以針對(duì)性地為客戶提供個(gè)性化所需的產(chǎn)品或者服務(wù)，真正做到“知彼知己”。

電商用戶行為數(shù)據(jù)來(lái)源表單或用戶注冊(cè)數(shù)據(jù)Web站點(diǎn)可以獲取客戶在首次訪問(wèn)網(wǎng)站時(shí)注冊(cè)所填寫(xiě)的個(gè)人信息，譬如年齡、身份、出生時(shí)間、性別、地址等，從而能夠有效對(duì)碎片化的客戶進(jìn)行聚眾或者整合，更詳細(xì)地了解客戶的類型與需求等偏好，方便制定或者發(fā)布相關(guān)促銷活動(dòng)的信息。除了電商網(wǎng)站企業(yè)通過(guò)自己web站點(diǎn)獲取的有關(guān)客戶個(gè)人隱私以及購(gòu)物偏好的信息之外，電商還可以通過(guò)與市場(chǎng)上的數(shù)據(jù)信息中心或者數(shù)據(jù)咨詢公司進(jìn)行戰(zhàn)略合作，以購(gòu)買(mǎi)、租賃或者共享等方式從他們那獲取電商企業(yè)所需的其他有關(guān)客戶購(gòu)物的信息，從而在一個(gè)更大的范圍內(nèi)分析客戶信息、劃分客戶類型與識(shí)別客戶行為特征。電商用戶行為數(shù)據(jù)來(lái)源網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行web信息采集WEB采集活動(dòng)中需要重點(diǎn)考慮網(wǎng)站自身的防屏蔽問(wèn)題，因?yàn)橹灰L(zhǎng)時(shí)間頻繁訪問(wèn)同一個(gè)網(wǎng)站，且這個(gè)網(wǎng)站設(shè)有相關(guān)預(yù)案，就會(huì)遇到受限訪問(wèn)或拒絕訪問(wèn)等問(wèn)題。常見(jiàn)的防屏蔽策略分時(shí)訪問(wèn)采集：指的是在目標(biāo)網(wǎng)站的可容忍范圍之內(nèi)對(duì)其進(jìn)行訪問(wèn)和采集，但這一范圍往往需要進(jìn)行多次高頻度的模擬訪問(wèn)來(lái)測(cè)算。依據(jù)測(cè)算到的網(wǎng)站容忍訪問(wèn)時(shí)間，針對(duì)待采集的網(wǎng)站設(shè)定采集時(shí)間周期及頻次，并開(kāi)啟分時(shí)、分塊的多次采集任務(wù)，直至完成對(duì)目標(biāo)網(wǎng)站的采集任務(wù)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行web信息采集常見(jiàn)的防屏蔽策略定時(shí)更換IP地址:這主要源于多數(shù)大型網(wǎng)站會(huì)對(duì)特定時(shí)間區(qū)間內(nèi)頻繁訪問(wèn)的主機(jī)IP地址進(jìn)行主動(dòng)屏蔽、拒絕服務(wù)。畢竟，上述訪問(wèn)行為顯然超出了合理的人工瀏覽訪問(wèn)頻度。不過(guò)，我們可以主動(dòng)檢測(cè)當(dāng)前IP地址被目標(biāo)主機(jī)的屏蔽狀態(tài)，且當(dāng)遇到屏蔽時(shí)立即更換IP地址以確保持續(xù)訪問(wèn)與采集活動(dòng)的正常運(yùn)行。模擬瀏覽器登錄：當(dāng)前很多類型的網(wǎng)站如微博、博客、論壇等，需要訪問(wèn)者事先通過(guò)身份驗(yàn)證才允許繼續(xù)訪問(wèn)明細(xì)信息。我們可以借助模擬瀏覽器技術(shù)向目標(biāo)網(wǎng)站提交用戶名和密碼的方式，完成身份驗(yàn)證，繼而滿足采集需要。案例：海爾智能家居馨廚冰箱是一款三開(kāi)門(mén)風(fēng)冷冰箱產(chǎn)品，總?cè)莘e為251升（冷藏室152升+冷凍室64升+變溫室35升），每24小時(shí)額定耗電量為0.76千瓦時(shí)。馨廚冰箱擁有日本murata提供的熱釋電傳感器，能夠在用戶靠近和動(dòng)作時(shí)進(jìn)行相應(yīng)的交互。馨廚冰箱具備一塊支持多指觸控的10.1英寸TFT觸摸屏（1280×800像素），屏幕中的界面整合了冰箱全部的智能功能。通過(guò)操作屏幕，用戶可以在這里觀看電影（視頻資源與愛(ài)奇藝合作），或聆聽(tīng)蜻蜓FM。另外，用戶可以在系統(tǒng)中搜索很多菜品的制作過(guò)程，而在日常運(yùn)行中，系統(tǒng)能夠記錄用戶放入的食材種類，并在系統(tǒng)認(rèn)為即將過(guò)保質(zhì)期的時(shí)候進(jìn)行提醒。在輸入之外，用戶也可以選擇通過(guò)語(yǔ)音識(shí)別來(lái)進(jìn)行操作和搜索。馨廚冰箱也有對(duì)應(yīng)的手機(jī)Apple，用戶安裝App后可以實(shí)現(xiàn)遠(yuǎn)程控制冰箱溫度等功能。案例：海爾智能家居案例：海爾智能家居3.3商業(yè)信息采集方法：抽樣調(diào)研抽樣條件總體是不可觀察的總體盡管是可以觀察的，但詳細(xì)地、全面地觀察總體的成本與研究結(jié)論所具有的價(jià)值相比顯得過(guò)高。抽樣方法隨機(jī)抽樣非隨機(jī)抽樣簡(jiǎn)單隨機(jī)抽樣等距抽樣分層抽樣方便抽樣整群抽樣多級(jí)抽樣判斷抽樣配額抽樣滾雪球抽樣3.3商業(yè)信息采集方法：抽樣調(diào)研抽樣方法簡(jiǎn)單隨機(jī)抽樣（simplerandomsampling）。簡(jiǎn)單隨機(jī)抽樣是指總體中的每一個(gè)單位都有完成相同的機(jī)會(huì)被抽取為樣本。簡(jiǎn)單隨機(jī)抽樣被認(rèn)為是科學(xué)抽樣方法的基礎(chǔ)。等距抽樣(systematicsampling)。等距抽樣是指在總體中依照一定順序、按相等間隔，有系統(tǒng)地抽取樣本。等距抽樣是簡(jiǎn)單隨機(jī)抽樣的變種，它比簡(jiǎn)單隨機(jī)抽樣更加簡(jiǎn)便可行。但研究者在抽樣時(shí)要注意樣本的隨機(jī)性問(wèn)題。。分層抽樣（stratifiedsampling）。分層抽樣又稱類型抽樣，其做法是先對(duì)總體各單位按主要標(biāo)志進(jìn)行分類，然后再?gòu)母黝愋徒M中按隨機(jī)原則抽出一定單位構(gòu)成樣本。類型抽樣可以分為以下三種：1）比例分層抽樣2）適當(dāng)配置抽樣3）非比例分層抽樣。3.3商業(yè)信息采集方法：抽樣調(diào)研抽樣方法整群抽樣（clustersampling）。整群抽樣是先將樣本按照某一特征劃分為若干群，然后隨機(jī)地挑選某些群，將這個(gè)群中的所有單位作為樣本。整群抽樣被廣泛采用。整群抽樣時(shí)若能找到一些與變量無(wú)關(guān)的特征作為劃分和挑選群的依據(jù)，也能夠達(dá)到較好的隨機(jī)性。分層抽樣與整群抽樣類似的地方:都是將總體劃分成若干個(gè)互斥的群，然后采用隨機(jī)抽樣技術(shù)抽取所需樣本。區(qū)別：分層抽樣用于群體間元素差異較大，群內(nèi)元素差異較小的抽樣中。整群抽樣適用于群內(nèi)元素差異較大，但群體間元素差異較小的抽樣。多階段隨機(jī)抽樣。如果樣本對(duì)象呈現(xiàn)金字塔型結(jié)構(gòu)，為了減輕抽樣工作量，可以采取自上而下逐級(jí)隨機(jī)抽樣的方法，也即多階段隨機(jī)抽樣。數(shù)據(jù)流信息案例1：電子商務(wù)數(shù)據(jù)數(shù)據(jù)流信息（略）案例1：電子商務(wù)數(shù)據(jù)社交媒體：包括微博、微信、博客、社交網(wǎng)站、論壇、播客等數(shù)據(jù)規(guī)模大用戶產(chǎn)生數(shù)據(jù)實(shí)時(shí)傳播反映了社交網(wǎng)絡(luò)文本化非結(jié)構(gòu)化案例2：社交媒體數(shù)據(jù)3.4商業(yè)信息的新興采集工具GoogleTrend,GoogleAdwords工具GoogleTrend是谷歌公司推出對(duì)某一主題詞搜索量統(tǒng)計(jì)趨勢(shì)變化的工具。谷歌趨勢(shì)有兩個(gè)功能，一是查看關(guān)鍵詞在Google的搜索次數(shù)及變化趨勢(shì)，二是查看網(wǎng)站流量（GoogleTrendsforwebsites）。google趨勢(shì)中某關(guān)鍵詞的關(guān)注度時(shí)間變化圖3.4商業(yè)信息的新興采集工具google趨勢(shì)中某關(guān)鍵詞的地域關(guān)注差異圖

google趨勢(shì)中相關(guān)主題與搜索行為圖3.4商業(yè)信息的新興采集工具Google關(guān)鍵詞工具(Google

Adwords

Tool)可以幫企業(yè)進(jìn)行關(guān)鍵詞推薦以及幫你了解不同關(guān)鍵詞的搜索量，包括本地的搜索量和全球搜索量。Google

關(guān)鍵字工具主要用途：分析關(guān)鍵詞的熱度；尋找最合適的關(guān)鍵詞；

尋