分析：解讀大數(shù)據(jù)的現(xiàn)在和未來

分析：解讀大數(shù)據(jù)的現(xiàn)在和未來

其次就是移動通信技術(shù)的快速發(fā)展，在2G時代，無線網(wǎng)速慢，數(shù)據(jù)產(chǎn)生也非常慢，數(shù)據(jù)體量也不夠，所以還是無法形成大數(shù)據(jù)，而到了4G時代，終端數(shù)據(jù)的增加，使得任何的移動終端都在無時無刻的產(chǎn)生著大量的數(shù)據(jù)，這個也是大數(shù)據(jù)到來的一個條件之一。第三個方面的就是大數(shù)據(jù)相關(guān)技術(shù)的飛速發(fā)展，如云計算，云存儲技術(shù)，他們的快速發(fā)展，是大數(shù)據(jù)誕生的溫床，如果沒有這些技術(shù)，即使有大量的數(shù)據(jù)也只能望洋興嘆。傳統(tǒng)的存儲技術(shù)相對落后，根據(jù)不同數(shù)據(jù)實行單一存儲，這個顯然滿足不了大數(shù)據(jù)的需求，而云時代的存儲系統(tǒng)需要的不僅僅是容量的提升，對于性能的要求同樣迫切，與以往只面向有限的用戶不同，在云時代，存儲系統(tǒng)將面向更為廣闊的用戶群體，用戶數(shù)量級的增加使得存儲系統(tǒng)也必須在吞吐性能上有飛速的提升，只有這樣才能對請求作出快速的反應(yīng)，云儲存技術(shù)的成熟為大數(shù)據(jù)的快速發(fā)展奠定了基礎(chǔ)。什么是大數(shù)據(jù)？不過說起大數(shù)據(jù)，估計大家都覺得只聽過概念，但是具體是什么東西，怎么定義，沒有一個標(biāo)準(zhǔn)的東西，因為在我們的印象中好像很多公司都叫大數(shù)據(jù)公司，業(yè)務(wù)形態(tài)則有幾百種，感覺不是很好理解，所以我建議還是從字面上來理解大數(shù)據(jù)，在維克托?邁爾-舍恩伯格及肯尼斯?庫克耶編寫的《大數(shù)據(jù)時代》提到了大數(shù)據(jù)的4個特征，一個是數(shù)量大，一個是價值大，一個是速度快，一個是多樣性。一個是數(shù)量比較大，大致有多大，就是大到PB級別，甚至ZB級別，1PB等于1024TB，1TB等于1024G，那么1PB等于100多G，當(dāng)然了具體的計算方法可以相關(guān)資料數(shù)據(jù)進(jìn)行查詢，總之，和傳統(tǒng)的單個網(wǎng)站數(shù)據(jù)庫存儲的數(shù)據(jù)相比，已經(jīng)是它的上百倍還多，而只有數(shù)據(jù)體量達(dá)到了PB級別以上，才能被稱為大數(shù)據(jù)。第二個是價值大，價值是大體量數(shù)據(jù)的更深一步的演變，就是說，你如果有1PB以上的全國所有20-35年輕人的上網(wǎng)數(shù)據(jù)的時候，那么它自然就有了商業(yè)價值，比如通過分析這些數(shù)據(jù)，我們就知道這些人的愛好，進(jìn)而指導(dǎo)產(chǎn)品的發(fā)展方向等等。如果有了全國幾百萬病人的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)進(jìn)行分析就能預(yù)測疾病的發(fā)生。這些都是大數(shù)據(jù)的價值。第三個就是多樣性，如果只有單一的數(shù)據(jù)，那么這些數(shù)據(jù)就沒有了價值，比如只有單一的個人數(shù)據(jù)，或者單一的用戶提交數(shù)據(jù)，這些數(shù)據(jù)還不能稱為大數(shù)據(jù)，所以說大數(shù)據(jù)還需要是多樣性的，比如當(dāng)前的上網(wǎng)用戶中，年齡，學(xué)歷，愛好，性格等等每個人的特征都不一樣，這個也就是大數(shù)據(jù)的多樣性，當(dāng)然了如果擴展到全國，那么數(shù)據(jù)的多樣性會更強，每個地區(qū)，每個時間段，都會存在各種各樣的數(shù)據(jù)多樣性。第四個是速度快，就是通過算法對數(shù)據(jù)的邏輯處理速度非?？?，1秒定律，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息，這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同?？傊?，這些就是大數(shù)據(jù)的四個特征，只有具備了這些特征的數(shù)據(jù)才能稱為大數(shù)據(jù)，那么實際中的大數(shù)據(jù)是怎么樣呢？業(yè)內(nèi)著名的和大數(shù)據(jù)相關(guān)的公司，七牛云存儲將要在8月29日、30日舉辦一次大數(shù)據(jù)的會議，對于位于大數(shù)據(jù)技術(shù)產(chǎn)業(yè)鏈上的公司來說，我們應(yīng)該可以獲得更多的干貨爆料。大數(shù)據(jù)的三個層次說起大數(shù)據(jù)，大數(shù)據(jù)有三個層次，第一個是數(shù)據(jù)采集層，以App、saas為代表的服務(wù)。第二個技術(shù)服務(wù)層，以七牛云存儲為代表的大數(shù)據(jù)技術(shù)服務(wù)層，這些包括數(shù)據(jù)的存儲，數(shù)據(jù)的分析，數(shù)據(jù)的挖掘等等，第三個是數(shù)據(jù)應(yīng)用層，以數(shù)據(jù)為基礎(chǔ)，為將來的移動社交、交通、教育，金融進(jìn)行服務(wù)。下面我就主要的講下三個層面。數(shù)據(jù)采集層——App、saas服務(wù)在移動互聯(lián)網(wǎng)時代，大數(shù)據(jù)的來源層有兩個方面，一個方面是面向個人的數(shù)據(jù)來源前端如各種各樣的App，一方面是面向企業(yè)服務(wù)的saas服務(wù)的產(chǎn)品。面向個人的App在飲食領(lǐng)域的App，如餓了么，用戶通過App進(jìn)行選餐，下單，通過App交互就會形成飲食領(lǐng)域的大數(shù)據(jù)；在o2o領(lǐng)域，如嗒嗒巴士，用戶通過使用App進(jìn)行乘坐交通，上班下班，就會形成交通領(lǐng)域的大數(shù)據(jù)，如穿衣助手，用戶通過App進(jìn)行選擇衣服顏色，樣式，進(jìn)行搭配，就會形式服務(wù)類的大數(shù)據(jù)，當(dāng)然了還有秒拍、快看等娛樂類的消費數(shù)據(jù)。面向個人用戶的App，以滿足用戶的需求為主要出發(fā)點，產(chǎn)生用戶的數(shù)據(jù)，這些數(shù)據(jù)包括以個人基礎(chǔ)的數(shù)據(jù)，也包括隨群體數(shù)據(jù)，隨著App用戶量的增長，這些App數(shù)據(jù)就成了大數(shù)據(jù)。面向個人的數(shù)據(jù)來源，直接通過用戶的需求產(chǎn)生數(shù)據(jù)，而面向企業(yè)服務(wù)的——saas服務(wù)則不一樣，他們通過為企業(yè)提供一套完整的解決方案，而產(chǎn)生數(shù)據(jù)，比如圖靈機器人，人臉識別技術(shù)，氣象plus、海康威視等，他們通過完美的解決方案服務(wù)企業(yè)，最終服務(wù)用戶，從而產(chǎn)生大數(shù)據(jù)，數(shù)據(jù)采集層，是大數(shù)據(jù)的來源，也是大數(shù)據(jù)的基礎(chǔ)。云存儲對大數(shù)據(jù)的促進(jìn)作用有了數(shù)據(jù)采集層，那么下一步就是數(shù)據(jù)的存儲層了，使用云存儲技術(shù)將數(shù)據(jù)存儲在云主機上，保證數(shù)據(jù)的安全、穩(wěn)定、高效都需要云存儲技術(shù)來完成。云存儲主要負(fù)責(zé)數(shù)據(jù)的存儲以及計算，比如七牛的云存儲技術(shù)，云存儲技術(shù)是大數(shù)據(jù)發(fā)展跨不過去的一道坎，如果沒有云存儲技術(shù)，大數(shù)據(jù)就不能得到發(fā)展。1、云存儲中面向企業(yè)存儲的數(shù)據(jù)最大當(dāng)前的云存儲分為公共云存儲和私有云存儲，公共云存儲主要是面向個人，比如百度網(wǎng)盤等，而私有云存儲主要是面向企業(yè)，其實面向企業(yè)的云存儲的存儲的大數(shù)據(jù)最終來源還是來自個人，比如目前的很多saas服務(wù)，IM、統(tǒng)計等企業(yè)服務(wù)，服務(wù)主要是面向個人的App，而類似七牛云存儲這樣的云存儲則是出于更底層，基于云主機之上，而位于所有個人服務(wù)、企業(yè)服務(wù)之下，所以說，七牛云存儲應(yīng)該積累了更多的大數(shù)據(jù)，而通過即將月底舉辦的這次《數(shù)據(jù)重構(gòu)未來》的大會，我想可以獲得更多的關(guān)于大數(shù)據(jù)的干貨。2、云存儲滿足了海量數(shù)據(jù)的存儲需求隨著移動互聯(lián)網(wǎng)的快速發(fā)展，傳統(tǒng)的存儲方式已經(jīng)在容量、性能、智能化等方面無法滿足需求。云存儲的出現(xiàn)，比如類似和七牛一樣的云存儲技術(shù)，從功能上彌補了傳統(tǒng)存儲的不足，通過虛擬化大容量存儲、分布式存儲和自動化運維等功能，實現(xiàn)了存儲空間無限增加和擴容，自動化和智能化功能提高了存儲效率。另外，規(guī)模效應(yīng)和彈性擴展，降低運營成本，避免資源浪費。3、云存儲技術(shù)節(jié)省了開發(fā)者的成本特別是當(dāng)下移動互聯(lián)網(wǎng)的火爆，使得App行業(yè)出現(xiàn)了爆發(fā)式的增長，App的數(shù)量已經(jīng)達(dá)到了300百萬以上，同時圖片App、視頻App、音頻App如camera360、優(yōu)酷視頻、荔枝FM等App都會在發(fā)展過程中產(chǎn)生大量的數(shù)據(jù)，對于這些數(shù)據(jù)來說，如果讓企業(yè)自身去開發(fā)一款分布式的存儲系統(tǒng)，這可能需要構(gòu)建一個幾十人的開發(fā)團隊，成本也會大大增加，而通過使用類似七牛一樣的云存儲，可以節(jié)約企業(yè)成本，讓企業(yè)發(fā)展更加迅速。4、云存儲技術(shù)為大數(shù)據(jù)分析提供了基礎(chǔ)依據(jù)作為大數(shù)據(jù)的存儲服務(wù)商，云存儲有著非常大的數(shù)據(jù)挖掘潛力，云存儲平臺為大數(shù)據(jù)的分析提供了“水”的來源，有了這些數(shù)據(jù)，同時配置上一些數(shù)據(jù)分析工具，完全可以產(chǎn)生一些非常有價值的分析數(shù)據(jù)報告。比如基于云存儲服務(wù)這個基礎(chǔ)，七?？梢栽谄髽I(yè)的需求下，為企業(yè)提供企數(shù)據(jù)分析，例如這款應(yīng)用在哪些地區(qū)受訪問次數(shù)多、怎樣的用戶更喜歡這款應(yīng)用等，但不會涉及分析用戶隱私相關(guān)的數(shù)據(jù)。當(dāng)然了，還可以針對整個圖片行業(yè)、視頻行業(yè)、以及音頻行業(yè)提供受眾的用戶行為、以及特征這一系列的群體特征。這些都是云存儲在存儲的數(shù)據(jù)體量達(dá)到大數(shù)據(jù)的特征后，能做的一系列的分析依據(jù)。所以說云存儲是大數(shù)據(jù)發(fā)展中的最重要的一個環(huán)節(jié)。大數(shù)據(jù)未來的行業(yè)應(yīng)用說了大數(shù)據(jù)的采集層，數(shù)據(jù)存儲層，那么最后講下大數(shù)據(jù)的應(yīng)用層，既然有了大數(shù)據(jù)，那么以大數(shù)據(jù)為基礎(chǔ)，就會產(chǎn)生以移動金融，移動社交，o2o，在線教育等多方面的應(yīng)用。1、移動金融隨著移動互聯(lián)網(wǎng)金融的發(fā)展，金融交易與支付已經(jīng)從桌面電腦延伸到移動智能終端，企業(yè)自身只能從內(nèi)部洞察經(jīng)營情況，或從市場中獲得不全面的統(tǒng)計信息，作為決策參考。比如銀聯(lián)智惠可以幫助企業(yè)能夠從外部了解市場，洞察對手的位置，了解市場趨勢和自身的地位，通過利用自身優(yōu)勢通過全行業(yè)的交易記錄得到高質(zhì)量的基礎(chǔ)數(shù)據(jù)，并替企業(yè)完成了大量繁瑣的數(shù)據(jù)采集、清理工作，整合到企業(yè)的基礎(chǔ)經(jīng)營分析數(shù)據(jù)庫中，讓企業(yè)事半功倍。當(dāng)基礎(chǔ)數(shù)據(jù)進(jìn)入企業(yè)數(shù)據(jù)庫后，通過銀聯(lián)智惠的用戶畫像模擬器進(jìn)行目標(biāo)客戶消費行為建模，將歷史交易行為分得出目標(biāo)客戶的交易共性特征，從而完整的從消費性別、消費年齡、消費習(xí)慣、消費頻率、消費區(qū)域、消費偏好等多重維度完整描述客戶群的輪廓，并得出客戶的上下游關(guān)聯(lián)交易行為特征，讓企業(yè)真正認(rèn)知客戶群體的全貌，從而進(jìn)行有效的商業(yè)決策。2、移動社交隨著脈脈，戀愛記等社交應(yīng)用的用戶越來越多，用戶的社交行為將會成為大數(shù)據(jù)的分析基礎(chǔ)，通過分析用戶的社交時間、對象、地點以及行為，可以分析出用戶的愛好、年齡、需求，同時基于用戶的大數(shù)據(jù)，可以針對這些數(shù)據(jù)做定向營銷，從而大大提升了營銷的效果，而相比之前的營銷手段，則是基本根據(jù)人員的策劃和想象得出，沒有數(shù)據(jù)參考，營銷的效果也不好把控。比如脈脈可以通過一些用戶數(shù)據(jù)為企業(yè)招聘到合適的人，同時還能為一些用戶提供一些合適的職位，完成需求和供求的高精度的匹配。而戀愛記，是一款記錄戀愛為主的社交App，更加垂直，那么通過分析情侶之間的數(shù)據(jù)，可以獲得更多的情感數(shù)據(jù)，從而為一些適齡男女提供戀愛的指導(dǎo)。這些都是基于大數(shù)據(jù)的應(yīng)用。3、O2O類的應(yīng)用移動互聯(lián)網(wǎng)的深入發(fā)展，促進(jìn)了o2o的繁榮，以嗒嗒巴士為代表的定制公交車應(yīng)用，就是大數(shù)據(jù)的代表應(yīng)用。傳統(tǒng)的公交出行在公交站、公交路線的設(shè)定上，相對來說比較固定，通過分析一個城市內(nèi)的群體出行數(shù)據(jù)，可以獲得人群隨著時間的出行規(guī)則，比如知道在早上8點為出行高峰，而從某個小區(qū)到某個寫字樓的人流數(shù)為最大，那么我就定制一條公交線路出來，對于用戶來說，滿足了用戶的需求，而對于公交公司來說，則是優(yōu)化了交通路線，節(jié)約了資源，間接提升了成本，這些都是大數(shù)據(jù)的好處?！€有更多的領(lǐng)域可