大數(shù)據(jù)的應(yīng)用及帶給企業(yè)的挑戰(zhàn).docx

大數(shù)據(jù)的應(yīng)用及帶給企業(yè)的挑戰(zhàn)隨著信息技術(shù)特別是信息通訊技術(shù)的發(fā)展，互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等相繼進(jìn)入人們的日常工作和生活中，全球數(shù)據(jù)信息量呈指數(shù)式爆炸增長(zhǎng)之勢(shì)。根據(jù)國(guó)際數(shù)據(jù)公司IDC發(fā)布的研究報(bào)告，預(yù)計(jì)全球數(shù)據(jù)量大約每?jī)赡攴环?，?020年全球?qū)⑦_(dá)到35ZB的數(shù)據(jù)信息量。隨著前所未有巨量數(shù)據(jù)信息的聚集， “大數(shù)據(jù)”已得到廣泛關(guān)注。本文將分企業(yè)數(shù)據(jù)、機(jī)器數(shù)據(jù)和社會(huì)化數(shù)據(jù)三類，針對(duì)企業(yè)數(shù)據(jù)處理面臨的挑戰(zhàn)、機(jī)器數(shù)據(jù)應(yīng)用場(chǎng)景、社會(huì)化數(shù)據(jù)帶來(lái)的變革展開討論。1、企業(yè)數(shù)據(jù)處理面臨的挑戰(zhàn)中國(guó)的企業(yè)已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)蘊(yùn)含著巨大的商業(yè)價(jià)值，但國(guó)內(nèi)互聯(lián)網(wǎng)巨頭作為率先使用大數(shù)據(jù)技術(shù)的用戶，僅僅是基于開源軟件自主開發(fā)大數(shù)據(jù)應(yīng)用，未形成企業(yè)級(jí)的個(gè)性化應(yīng)用。(1)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一及整合隨著互聯(lián)網(wǎng)和通信技術(shù)的迅猛發(fā)展，企業(yè)中的數(shù)據(jù)類型早已不是單一的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，還充斥著廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中的網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等多類型的數(shù)據(jù)。這些數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。據(jù)統(tǒng)計(jì)，企業(yè)中85%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。但是企業(yè)現(xiàn)有的數(shù)據(jù)處理方法僅適用于結(jié)構(gòu)化數(shù)據(jù)，無(wú)法將大量的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一、整合，就無(wú)法發(fā)掘數(shù)據(jù)中的價(jià)值。(2)跨業(yè)務(wù)平臺(tái)數(shù)據(jù)的關(guān)聯(lián)當(dāng)今企業(yè)環(huán)境中存在著：不同業(yè)務(wù)模塊的數(shù)據(jù)分布在不同的系統(tǒng)平臺(tái)，這些被割裂的數(shù)據(jù)在單一業(yè)務(wù)平臺(tái)無(wú)法得到有效利用；不同業(yè)務(wù)模塊的數(shù)據(jù)無(wú)法實(shí)現(xiàn)共享、關(guān)聯(lián)；僅對(duì)關(guān)鍵業(yè)務(wù)的數(shù)據(jù)進(jìn)行收集、整合和利用，非關(guān)鍵業(yè)務(wù)的數(shù)據(jù)被忽視等現(xiàn)狀。企業(yè)中的數(shù)據(jù)由于業(yè)務(wù)模塊的劃分而被割裂開來(lái)單一業(yè)務(wù)模塊的數(shù)據(jù)價(jià)值遠(yuǎn)遠(yuǎn)小于所有業(yè)務(wù)模塊數(shù)據(jù)關(guān)聯(lián)起來(lái)進(jìn)行分析運(yùn)用，企業(yè)將如何實(shí)現(xiàn)跨業(yè)務(wù)平臺(tái)數(shù)據(jù)的關(guān)聯(lián)與整合將面臨巨大的挑戰(zhàn)。(3)面向數(shù)據(jù)的實(shí)時(shí)分析隨著經(jīng)濟(jì)的飛速發(fā)展，企業(yè)所面臨的市場(chǎng)行情也在瞬息萬(wàn)變，企業(yè)曾經(jīng)慣用的事后處理機(jī)制已經(jīng)不能應(yīng)對(duì)，企業(yè)需要實(shí)時(shí)洞察業(yè)務(wù)運(yùn)營(yíng)狀態(tài)，以便迅速應(yīng)對(duì)不斷變化的市場(chǎng)形勢(shì)。企業(yè)業(yè)務(wù)的運(yùn)營(yíng)狀態(tài)將體現(xiàn)在海量數(shù)據(jù)的快速處理和有效進(jìn)行實(shí)時(shí)分析的基礎(chǔ)上。但隨著大數(shù)據(jù)的爆炸式增長(zhǎng)，與企業(yè)相關(guān)的數(shù)據(jù)可能在無(wú)限量的不斷增長(zhǎng)，這些不斷變化的數(shù)據(jù)，需要企業(yè)進(jìn)行全面、實(shí)時(shí)的分析。(4)數(shù)據(jù)驅(qū)動(dòng)的戰(zhàn)略決策社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)、企業(yè)信息化近幾年迅猛發(fā)展，不斷產(chǎn)生的海量數(shù)據(jù)將越來(lái)越影響企業(yè)從戰(zhàn)術(shù)到戰(zhàn)略制定的各個(gè)方面。麻省理工學(xué)院斯隆管理學(xué)院教授Erik Brynjolfsson表示，基于數(shù)據(jù)分析的決策實(shí)現(xiàn)的生產(chǎn)率增長(zhǎng)，要比任何其他因素5%-6%。這種生產(chǎn)率增長(zhǎng)能夠決定大多數(shù)行業(yè)的勝負(fù)。企業(yè)決策行為將基于數(shù)據(jù)和分析而做出，而非基于經(jīng)驗(yàn)和直覺(jué)，這對(duì)于企業(yè)是一個(gè)巨大的挑戰(zhàn)。2、機(jī)器數(shù)據(jù)應(yīng)用場(chǎng)景分析機(jī)器數(shù)據(jù)是由機(jī)器產(chǎn)生的數(shù)據(jù)，也是大數(shù)據(jù)最原始的數(shù)據(jù)類型，包括了日志文件、各種歷史記錄、Web服務(wù)器日志等。它們會(huì)由網(wǎng)絡(luò)交換機(jī)、企業(yè)應(yīng)用系統(tǒng)、網(wǎng)絡(luò)以及安全設(shè)備等產(chǎn)生。龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無(wú)論而對(duì)物聯(lián)網(wǎng)、電子商務(wù)、醫(yī)療，還是電信、金融領(lǐng)域，在大數(shù)據(jù)時(shí)代，滿足機(jī)器數(shù)據(jù)存儲(chǔ)、管理、檢索、分析、可視化等應(yīng)用需求，結(jié)合IT運(yùn)維、系統(tǒng)安全、搜索引擎、電子商務(wù)等特定應(yīng)用的需求實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下機(jī)器數(shù)據(jù)的存儲(chǔ)、管理、檢索和分析。(1)IT運(yùn)營(yíng)管理大數(shù)據(jù)時(shí)代，面對(duì)日益膨脹增長(zhǎng)的數(shù)據(jù)與IT系統(tǒng)，如何提高IT運(yùn)維管理水平，降低IT運(yùn)營(yíng)的風(fēng)險(xiǎn)，保障業(yè)務(wù)正常、高效運(yùn)行，已經(jīng)成為大家越來(lái)越關(guān)注的焦點(diǎn)。實(shí)現(xiàn)機(jī)器數(shù)據(jù)良好的IT運(yùn)營(yíng)管理，包括：統(tǒng)一管理：實(shí)現(xiàn)日志的統(tǒng)一收集、集中檢索與分析，對(duì)各種設(shè)備、操作系統(tǒng)、應(yīng)用的日志進(jìn)行統(tǒng)一的實(shí)時(shí)監(jiān)測(cè)與可視化分析：通過(guò)海量日志快速分析與檢索系統(tǒng)，協(xié)助管理員快速發(fā)現(xiàn)、關(guān)注與定位事件；及時(shí)發(fā)現(xiàn)設(shè)備運(yùn)行異常情況，并第一時(shí)間通過(guò)郵件或短信通知管理員，為排查故障爭(zhēng)取時(shí)間。關(guān)聯(lián)分析：分析故障發(fā)生前后，所有相關(guān)IT設(shè)備、系統(tǒng)、應(yīng)用的非正常運(yùn)行狀態(tài)，發(fā)現(xiàn)可疑的關(guān)聯(lián)問(wèn)題；對(duì)系統(tǒng)的非正常運(yùn)行狀態(tài)進(jìn)行分析，挖掘日志內(nèi)容之間的關(guān)聯(lián)性，定期生成相應(yīng)的關(guān)聯(lián)分析圖、聚類分析圖等日志分析圖譜：系統(tǒng)自帶一些分析規(guī)則，將這些分析規(guī)則的分析結(jié)果推薦給用戶，為用戶的決策提供參考意見(jiàn)。(2)IT系統(tǒng)安全和日志審計(jì)政府機(jī)構(gòu)經(jīng)過(guò)多年信息化建設(shè)，為方便業(yè)務(wù)開展和更好的服務(wù)民眾，在系統(tǒng)內(nèi)搭建了多個(gè)應(yīng)用系統(tǒng)，但各類數(shù)據(jù)庫(kù)和信息資源在方便開展業(yè)務(wù)的同時(shí)，數(shù)據(jù)信息的安全、違規(guī)操作、異常訪問(wèn)等問(wèn)題日益突出，個(gè)別事件還在社會(huì)上產(chǎn)生較大的負(fù)面影響。實(shí)現(xiàn)機(jī)器數(shù)據(jù)的IT系統(tǒng)安全，包括：基于敏感信息的用戶行為檢測(cè)：基于關(guān)鍵字的敏感信息定義：預(yù)先定義一組敏感信息關(guān)鍵字，系統(tǒng)對(duì)日志的用戶訪問(wèn)行為進(jìn)行掃描和檢測(cè)，如果發(fā)現(xiàn)某個(gè)用戶查詢了系統(tǒng)預(yù)先定義的關(guān)鍵字，則認(rèn)為該用戶訪問(wèn)了敏感信息：基于工作角色與數(shù)據(jù)資源匹配的敏感信息定義：對(duì)系統(tǒng)內(nèi)的用戶進(jìn)行工作角色定義，每個(gè)角色授予一定的數(shù)據(jù)資源訪問(wèn)權(quán)限。如果發(fā)現(xiàn)某個(gè)用戶訪問(wèn)的數(shù)據(jù)資源超出了其工作角色限定的范圍，訪問(wèn)的信息與工作范圍不匹配，則可認(rèn)為是訪問(wèn)敏感信息。用戶異常訪問(wèn)行為自動(dòng)檢測(cè)：通過(guò)對(duì)用戶異常訪問(wèn)行為的檢測(cè)，識(shí)別非法訪問(wèn)行為。監(jiān)測(cè)登錄時(shí)間異常：例如發(fā)現(xiàn)非工作時(shí)間訪問(wèn)，或長(zhǎng)期不活躍，某段時(shí)間突然活躍訪問(wèn)敏感信息：監(jiān)測(cè)登錄地點(diǎn)異常：例如發(fā)現(xiàn)非習(xí)慣工作地點(diǎn)的異常伸地址訪問(wèn)：監(jiān)測(cè)訪問(wèn)行為異常：短時(shí)間內(nèi)大數(shù)據(jù)量訪問(wèn)，類似下載行為或機(jī)器爬蟲訪問(wèn)行為：持續(xù)訪問(wèn)敏感信息：短時(shí)間、持續(xù)訪問(wèn)敏感信息。(3)用戶行為分析機(jī)器數(shù)據(jù)應(yīng)用之基于用戶行為分析的業(yè)務(wù)創(chuàng)新，用戶分析包括了用戶來(lái)源統(tǒng)計(jì)、訪問(wèn)量統(tǒng)計(jì)、訪問(wèn)軌跡分析、網(wǎng)站用戶流失原因分析等。大數(shù)據(jù)的預(yù)測(cè)能力正在被探索，機(jī)器數(shù)據(jù)的用戶行為分析讓精細(xì)衡量成為可能。用戶來(lái)源統(tǒng)計(jì)：包括用戶的IP、來(lái)源地區(qū)、來(lái)路域名和頁(yè)面；訪客操作系統(tǒng)、游覽器等信息；Robots/Spiders的統(tǒng)計(jì)：對(duì)不同文件類型的統(tǒng)計(jì)信息。訪問(wèn)量統(tǒng)計(jì)：包括訪問(wèn)量/訪問(wèn)次數(shù)/頁(yè)面瀏覽量/點(diǎn)擊數(shù)/數(shù)據(jù)流量等：用戶在不同時(shí)段的訪問(wèn)量情況，精確到每月、每日、每小時(shí)的數(shù)據(jù)；用戶在網(wǎng)站的停留時(shí)間、跳出率、回訪者、新訪問(wèn)者、回訪次數(shù)、回訪相隔天數(shù)；注冊(cè)用戶和非注冊(cè)用戶，分析兩者之間的瀏覽習(xí)慣。訪問(wèn)軌跡分析：分析用戶的訪問(wèn)路徑，發(fā)現(xiàn)最常訪問(wèn)的路徑，進(jìn)行網(wǎng)站路徑優(yōu)化。網(wǎng)站用戶流失原因分析：找到系統(tǒng)里最近一批非活躍用戶(先前活躍，但某個(gè)時(shí)間點(diǎn)后較長(zhǎng)時(shí)間不訪問(wèn)本系統(tǒng))：對(duì)該組用戶的最近訪問(wèn)軌跡進(jìn)行關(guān)聯(lián)規(guī)則挖掘，挖掘訪問(wèn)規(guī)律；根據(jù)訪問(wèn)規(guī)律分析流失原因：某個(gè)頁(yè)面或功能的不可用或不友好。以上的用戶分析，可以應(yīng)用在各個(gè)領(lǐng)域，例如可以實(shí)現(xiàn)搜索引擎優(yōu)化、文檔推薦應(yīng)用、社交網(wǎng)絡(luò)的文檔推薦與人物推薦、電子商務(wù)推薦引擎的相關(guān)工作、招聘網(wǎng)站的推薦引擎、其他用戶行為分析等。3、社會(huì)化數(shù)據(jù)驅(qū)動(dòng)市場(chǎng)調(diào)研和營(yíng)銷變革隨著社交網(wǎng)絡(luò)的流行，國(guó)內(nèi)外社會(huì)化媒體得到了迅猛發(fā)展。集中在社會(huì)化媒體上龐大的用戶群及發(fā)生的用戶行為將會(huì)產(chǎn)生巨量的數(shù)據(jù)回饋，這些包括評(píng)論、視頻、照片、地理位置、個(gè)人資料、社交關(guān)系等由用戶在社會(huì)化媒體中產(chǎn)生或分享的各類信息即為社會(huì)化數(shù)據(jù)。社會(huì)化數(shù)據(jù)與以前采集的靜態(tài)的、事務(wù)性數(shù)據(jù)完全不一樣，它具有實(shí)時(shí)性和流動(dòng)性。人們?cè)谏鐣?huì)化媒體上通過(guò)交流、購(gòu)買、出售和其他日常生活活動(dòng)以免費(fèi)的方式提供著大量信息。這些數(shù)據(jù)由每個(gè)網(wǎng)民的微行為匯集而成，蘊(yùn)含著巨大的價(jià)值，將帶來(lái)企業(yè)在市場(chǎng)調(diào)研和營(yíng)銷方面的變革。(1)數(shù)據(jù)支撐“智慧”的市場(chǎng)調(diào)研傳統(tǒng)的市場(chǎng)調(diào)研是根據(jù)提前設(shè)計(jì)好的調(diào)查問(wèn)卷來(lái)搜集市場(chǎng)資料，這種方式具有很大的局限性。社會(huì)化媒體的流行，使社會(huì)化媒體平臺(tái)上匯集了龐大的的用戶群。如此巨大的用戶群及其產(chǎn)生的大量用戶行為為市場(chǎng)調(diào)研提供了大量的一手資源，為企業(yè)提供了分析消費(fèi)者群體特征的機(jī)會(huì)。社會(huì)化媒體天生的開放性，使消費(fèi)者獲得了更多的話語(yǔ)權(quán)，消費(fèi)者在社會(huì)化媒體上自愿的表達(dá)自己的想法，消費(fèi)者在社會(huì)化媒體上談?wù)摰脑掝}面非常廣，不僅局限于調(diào)查問(wèn)卷中的話題，而且這些話題充斥著情感因素。這樣一方面使市場(chǎng)調(diào)研人員獲取了大量來(lái)自于消費(fèi)者的一手資源；另一方面彌補(bǔ)了市場(chǎng)問(wèn)卷由于提前設(shè)定問(wèn)題而存在的局限性。同時(shí)，社會(huì)化數(shù)據(jù)的實(shí)時(shí)性，使市場(chǎng)調(diào)研人員可以在第一時(shí)間確認(rèn)理解和追蹤消費(fèi)者的反饋，制定更科學(xué)的營(yíng)銷決策，從而發(fā)起合適的營(yíng)銷活動(dòng)。(2)數(shù)據(jù)帶來(lái)市場(chǎng)營(yíng)銷的掘金潮國(guó)內(nèi)社交網(wǎng)絡(luò)市場(chǎng)規(guī)模龐大并正快速增長(zhǎng)?，F(xiàn)在幾乎所有文章、廣告、視頻都鼓勵(lì)用戶進(jìn)行社交分享及評(píng)論，我們已經(jīng)進(jìn)入社交網(wǎng)絡(luò)爆炸發(fā)展的時(shí)代。社交網(wǎng)絡(luò)在全球的火爆，社會(huì)化媒體迅猛的發(fā)展、導(dǎo)致了整個(gè)用戶市場(chǎng)環(huán)境的變化。用戶接觸和獲取信息的渠道和方式、用戶與商家產(chǎn)生交互及購(gòu)買行為的渠道和方式、用戶之間產(chǎn)生交流和分享體驗(yàn)的渠道和方式都在發(fā)生全面而深刻的變化，用戶已經(jīng)從以信任由生產(chǎn)商、渠道商、傳統(tǒng)媒體所構(gòu)建的垂直信息渠道，轉(zhuǎn)變?yōu)楦敢庀嘈艁?lái)自朋友或陌生網(wǎng)友口口相傳的水平信息渠道，用戶已經(jīng)從原來(lái)簡(jiǎn)單同質(zhì)化的物質(zhì)需求發(fā)展為個(gè)性化的需求，用戶變得更加主動(dòng)和理性。用戶已經(jīng)遷移到社會(huì)化媒體，傳播路徑在泛化，用戶行為在變