大數(shù)據(jù)的應(yīng)用及帶給企業(yè)的挑戰(zhàn).docx

大數(shù)據(jù)的應(yīng)用及帶給企業(yè)的挑戰(zhàn)隨著信息技術(shù)特別是信息通訊技術(shù)的發(fā)展，互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等相繼進(jìn)入人們的日常工作和生活中，全球數(shù)據(jù)信息量呈指數(shù)式爆炸增長之勢。根據(jù)國際數(shù)據(jù)公司IDC發(fā)布的研究報告，預(yù)計全球數(shù)據(jù)量大約每兩年翻一番，到2020年全球?qū)⑦_(dá)到35ZB的數(shù)據(jù)信息量。隨著前所未有巨量數(shù)據(jù)信息的聚集， “大數(shù)據(jù)”已得到廣泛關(guān)注。本文將分企業(yè)數(shù)據(jù)、機(jī)器數(shù)據(jù)和社會化數(shù)據(jù)三類，針對企業(yè)數(shù)據(jù)處理面臨的挑戰(zhàn)、機(jī)器數(shù)據(jù)應(yīng)用場景、社會化數(shù)據(jù)帶來的變革展開討論。1、企業(yè)數(shù)據(jù)處理面臨的挑戰(zhàn)中國的企業(yè)已經(jīng)認(rèn)識到大數(shù)據(jù)蘊(yùn)含著巨大的商業(yè)價值，但國內(nèi)互聯(lián)網(wǎng)巨頭作為率先使用大數(shù)據(jù)技術(shù)的用戶，僅僅是基于開源軟件自主開發(fā)大數(shù)據(jù)應(yīng)用，未形成企業(yè)級的個性化應(yīng)用。(1)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一及整合隨著互聯(lián)網(wǎng)和通信技術(shù)的迅猛發(fā)展，企業(yè)中的數(shù)據(jù)類型早已不是單一的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，還充斥著廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中的網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等多類型的數(shù)據(jù)。這些數(shù)據(jù)稱為非結(jié)構(gòu)化數(shù)據(jù)。據(jù)統(tǒng)計，企業(yè)中85%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。但是企業(yè)現(xiàn)有的數(shù)據(jù)處理方法僅適用于結(jié)構(gòu)化數(shù)據(jù)，無法將大量的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一、整合，就無法發(fā)掘數(shù)據(jù)中的價值。(2)跨業(yè)務(wù)平臺數(shù)據(jù)的關(guān)聯(lián)當(dāng)今企業(yè)環(huán)境中存在著：不同業(yè)務(wù)模塊的數(shù)據(jù)分布在不同的系統(tǒng)平臺，這些被割裂的數(shù)據(jù)在單一業(yè)務(wù)平臺無法得到有效利用；不同業(yè)務(wù)模塊的數(shù)據(jù)無法實(shí)現(xiàn)共享、關(guān)聯(lián)；僅對關(guān)鍵業(yè)務(wù)的數(shù)據(jù)進(jìn)行收集、整合和利用，非關(guān)鍵業(yè)務(wù)的數(shù)據(jù)被忽視等現(xiàn)狀。企業(yè)中的數(shù)據(jù)由于業(yè)務(wù)模塊的劃分而被割裂開來單一業(yè)務(wù)模塊的數(shù)據(jù)價值遠(yuǎn)遠(yuǎn)小于所有業(yè)務(wù)模塊數(shù)據(jù)關(guān)聯(lián)起來進(jìn)行分析運(yùn)用，企業(yè)將如何實(shí)現(xiàn)跨業(yè)務(wù)平臺數(shù)據(jù)的關(guān)聯(lián)與整合將面臨巨大的挑戰(zhàn)。(3)面向數(shù)據(jù)的實(shí)時分析隨著經(jīng)濟(jì)的飛速發(fā)展，企業(yè)所面臨的市場行情也在瞬息萬變，企業(yè)曾經(jīng)慣用的事后處理機(jī)制已經(jīng)不能應(yīng)對，企業(yè)需要實(shí)時洞察業(yè)務(wù)運(yùn)營狀態(tài)，以便迅速應(yīng)對不斷變化的市場形勢。企業(yè)業(yè)務(wù)的運(yùn)營狀態(tài)將體現(xiàn)在海量數(shù)據(jù)的快速處理和有效進(jìn)行實(shí)時分析的基礎(chǔ)上。但隨著大數(shù)據(jù)的爆炸式增長，與企業(yè)相關(guān)的數(shù)據(jù)可能在無限量的不斷增長，這些不斷變化的數(shù)據(jù)，需要企業(yè)進(jìn)行全面、實(shí)時的分析。(4)數(shù)據(jù)驅(qū)動的戰(zhàn)略決策社交網(wǎng)絡(luò)、移動互聯(lián)網(wǎng)、企業(yè)信息化近幾年迅猛發(fā)展，不斷產(chǎn)生的海量數(shù)據(jù)將越來越影響企業(yè)從戰(zhàn)術(shù)到戰(zhàn)略制定的各個方面。麻省理工學(xué)院斯隆管理學(xué)院教授Erik Brynjolfsson表示，基于數(shù)據(jù)分析的決策實(shí)現(xiàn)的生產(chǎn)率增長，要比任何其他因素5%-6%。這種生產(chǎn)率增長能夠決定大多數(shù)行業(yè)的勝負(fù)。企業(yè)決策行為將基于數(shù)據(jù)和分析而做出，而非基于經(jīng)驗(yàn)和直覺，這對于企業(yè)是一個巨大的挑戰(zhàn)。2、機(jī)器數(shù)據(jù)應(yīng)用場景分析機(jī)器數(shù)據(jù)是由機(jī)器產(chǎn)生的數(shù)據(jù)，也是大數(shù)據(jù)最原始的數(shù)據(jù)類型，包括了日志文件、各種歷史記錄、Web服務(wù)器日志等。它們會由網(wǎng)絡(luò)交換機(jī)、企業(yè)應(yīng)用系統(tǒng)、網(wǎng)絡(luò)以及安全設(shè)備等產(chǎn)生。龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論而對物聯(lián)網(wǎng)、電子商務(wù)、醫(yī)療，還是電信、金融領(lǐng)域，在大數(shù)據(jù)時代，滿足機(jī)器數(shù)據(jù)存儲、管理、檢索、分析、可視化等應(yīng)用需求，結(jié)合IT運(yùn)維、系統(tǒng)安全、搜索引擎、電子商務(wù)等特定應(yīng)用的需求實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下機(jī)器數(shù)據(jù)的存儲、管理、檢索和分析。(1)IT運(yùn)營管理大數(shù)據(jù)時代，面對日益膨脹增長的數(shù)據(jù)與IT系統(tǒng)，如何提高IT運(yùn)維管理水平，降低IT運(yùn)營的風(fēng)險，保障業(yè)務(wù)正常、高效運(yùn)行，已經(jīng)成為大家越來越關(guān)注的焦點(diǎn)。實(shí)現(xiàn)機(jī)器數(shù)據(jù)良好的IT運(yùn)營管理，包括：統(tǒng)一管理：實(shí)現(xiàn)日志的統(tǒng)一收集、集中檢索與分析，對各種設(shè)備、操作系統(tǒng)、應(yīng)用的日志進(jìn)行統(tǒng)一的實(shí)時監(jiān)測與可視化分析：通過海量日志快速分析與檢索系統(tǒng)，協(xié)助管理員快速發(fā)現(xiàn)、關(guān)注與定位事件；及時發(fā)現(xiàn)設(shè)備運(yùn)行異常情況，并第一時間通過郵件或短信通知管理員，為排查故障爭取時間。關(guān)聯(lián)分析：分析故障發(fā)生前后，所有相關(guān)IT設(shè)備、系統(tǒng)、應(yīng)用的非正常運(yùn)行狀態(tài)，發(fā)現(xiàn)可疑的關(guān)聯(lián)問題；對系統(tǒng)的非正常運(yùn)行狀態(tài)進(jìn)行分析，挖掘日志內(nèi)容之間的關(guān)聯(lián)性，定期生成相應(yīng)的關(guān)聯(lián)分析圖、聚類分析圖等日志分析圖譜：系統(tǒng)自帶一些分析規(guī)則，將這些分析規(guī)則的分析結(jié)果推薦給用戶，為用戶的決策提供參考意見。(2)IT系統(tǒng)安全和日志審計政府機(jī)構(gòu)經(jīng)過多年信息化建設(shè)，為方便業(yè)務(wù)開展和更好的服務(wù)民眾，在系統(tǒng)內(nèi)搭建了多個應(yīng)用系統(tǒng)，但各類數(shù)據(jù)庫和信息資源在方便開展業(yè)務(wù)的同時，數(shù)據(jù)信息的安全、違規(guī)操作、異常訪問等問題日益突出，個別事件還在社會上產(chǎn)生較大的負(fù)面影響。實(shí)現(xiàn)機(jī)器數(shù)據(jù)的IT系統(tǒng)安全，包括：基于敏感信息的用戶行為檢測：基于關(guān)鍵字的敏感信息定義：預(yù)先定義一組敏感信息關(guān)鍵字，系統(tǒng)對日志的用戶訪問行為進(jìn)行掃描和檢測，如果發(fā)現(xiàn)某個用戶查詢了系統(tǒng)預(yù)先定義的關(guān)鍵字，則認(rèn)為該用戶訪問了敏感信息：基于工作角色與數(shù)據(jù)資源匹配的敏感信息定義：對系統(tǒng)內(nèi)的用戶進(jìn)行工作角色定義，每個角色授予一定的數(shù)據(jù)資源訪問權(quán)限。如果發(fā)現(xiàn)某個用戶訪問的數(shù)據(jù)資源超出了其工作角色限定的范圍，訪問的信息與工作范圍不匹配，則可認(rèn)為是訪問敏感信息。用戶異常訪問行為自動檢測：通過對用戶異常訪問行為的檢測，識別非法訪問行為。監(jiān)測登錄時間異常：例如發(fā)現(xiàn)非工作時間訪問，或長期不活躍，某段時間突然活躍訪問敏感信息：監(jiān)測登錄地點(diǎn)異常：例如發(fā)現(xiàn)非習(xí)慣工作地點(diǎn)的異常伸地址訪問：監(jiān)測訪問行為異常：短時間內(nèi)大數(shù)據(jù)量訪問，類似下載行為或機(jī)器爬蟲訪問行為：持續(xù)訪問敏感信息：短時間、持續(xù)訪問敏感信息。(3)用戶行為分析機(jī)器數(shù)據(jù)應(yīng)用之基于用戶行為分析的業(yè)務(wù)創(chuàng)新，用戶分析包括了用戶來源統(tǒng)計、訪問量統(tǒng)計、訪問軌跡分析、網(wǎng)站用戶流失原因分析等。大數(shù)據(jù)的預(yù)測能力正在被探索，機(jī)器數(shù)據(jù)的用戶行為分析讓精細(xì)衡量成為可能。用戶來源統(tǒng)計：包括用戶的IP、來源地區(qū)、來路域名和頁面；訪客操作系統(tǒng)、游覽器等信息；Robots/Spiders的統(tǒng)計：對不同文件類型的統(tǒng)計信息。訪問量統(tǒng)計：包括訪問量/訪問次數(shù)/頁面瀏覽量/點(diǎn)擊數(shù)/數(shù)據(jù)流量等：用戶在不同時段的訪問量情況，精確到每月、每日、每小時的數(shù)據(jù)；用戶在網(wǎng)站的停留時間、跳出率、回訪者、新訪問者、回訪次數(shù)、回訪相隔天數(shù)；注冊用戶和非注冊用戶，分析兩者之間的瀏覽習(xí)慣。訪問軌跡分析：分析用戶的訪問路徑，發(fā)現(xiàn)最常訪問的路徑，進(jìn)行網(wǎng)站路徑優(yōu)化。網(wǎng)站用戶流失原因分析：找到系統(tǒng)里最近一批非活躍用戶(先前活躍，但某個時間點(diǎn)后較長時間不訪問本系統(tǒng))：對該組用戶的最近訪問軌跡進(jìn)行關(guān)聯(lián)規(guī)則挖掘，挖掘訪問規(guī)律；根據(jù)訪問規(guī)律分析流失原因：某個頁面或功能的不可用或不友好。以上的用戶分析，可以應(yīng)用在各個領(lǐng)域，例如可以實(shí)現(xiàn)搜索引擎優(yōu)化、文檔推薦應(yīng)用、社交網(wǎng)絡(luò)的文檔推薦與人物推薦、電子商務(wù)推薦引擎的相關(guān)工作、招聘網(wǎng)站的推薦引擎、其他用戶行為分析等。3、社會化數(shù)據(jù)驅(qū)動市場調(diào)研和營銷變革隨著社交網(wǎng)絡(luò)的流行，國內(nèi)外社會化媒體得到了迅猛發(fā)展。集中在社會化媒體上龐大的用戶群及發(fā)生的用戶行為將會產(chǎn)生巨量的數(shù)據(jù)回饋，這些包括評論、視頻、照片、地理位置、個人資料、社交關(guān)系等由用戶在社會化媒體中產(chǎn)生或分享的各類信息即為社會化數(shù)據(jù)。社會化數(shù)據(jù)與以前采集的靜態(tài)的、事務(wù)性數(shù)據(jù)完全不一樣，它具有實(shí)時性和流動性。人們在社會化媒體上通過交流、購買、出售和其他日常生活活動以免費(fèi)的方式提供著大量信息。這些數(shù)據(jù)由每個網(wǎng)民的微行為匯集而成，蘊(yùn)含著巨大的價值，將帶來企業(yè)在市場調(diào)研和營銷方面的變革。(1)數(shù)據(jù)支撐“智慧”的市場調(diào)研傳統(tǒng)的市場調(diào)研是根據(jù)提前設(shè)計好的調(diào)查問卷來搜集市場資料，這種方式具有很大的局限性。社會化媒體的流行，使社會化媒體平臺上匯集了龐大的的用戶群。如此巨大的用戶群及其產(chǎn)生的大量用戶行為為市場調(diào)研提供了大量的一手資源，為企業(yè)提供了分析消費(fèi)者群體特征的機(jī)會。社會化媒體天生的開放性，使消費(fèi)者獲得了更多的話語權(quán)，消費(fèi)者在社會化媒體上自愿的表達(dá)自己的想法，消費(fèi)者在社會化媒體上談?wù)摰脑掝}面非常廣，不僅局限于調(diào)查問卷中的話題，而且這些話題充斥著情感因素。這樣一方面使市場調(diào)研人員獲取了大量來自于消費(fèi)者的一手資源；另一方面彌補(bǔ)了市場問卷由于提前設(shè)定問題而存在的局限性。同時，社會化數(shù)據(jù)的實(shí)時性，使市場調(diào)研人員可以在第一時間確認(rèn)理解和追蹤消費(fèi)者的反饋，制定更科學(xué)的營銷決策，從而發(fā)起合適的營銷活動。(2)數(shù)據(jù)帶來市場營銷的掘金潮國內(nèi)社交網(wǎng)絡(luò)市場規(guī)模龐大并正快速增長?，F(xiàn)在幾乎所有文章、廣告、視頻都鼓勵用戶進(jìn)行社交分享及評論，我們已經(jīng)進(jìn)入社交網(wǎng)絡(luò)爆炸發(fā)展的時代。社交網(wǎng)絡(luò)在全球的火爆，社會化媒體迅猛的發(fā)展、導(dǎo)致了整個用戶市場環(huán)境的變化。用戶接觸和獲取信息的渠道和方式、用戶與商家產(chǎn)生交互及購買行為的渠道和方式、用戶之間產(chǎn)生交流和分享體驗(yàn)的渠道和方式都在發(fā)生全面而深刻的變化，用戶已經(jīng)從以信任由生產(chǎn)商、渠道商、傳統(tǒng)媒體所構(gòu)建的垂直信息渠道，轉(zhuǎn)變?yōu)楦敢庀嘈艁碜耘笥鸦蚰吧W(wǎng)友口口相傳的水平信息渠道，用戶已經(jīng)從原來簡單同質(zhì)化的物質(zhì)需求發(fā)展為個性化的需求，用戶變得更加主動和理性。用戶已經(jīng)遷移到社會化媒體，傳播路徑在泛化，用戶行為在變