大數(shù)據(jù)時代的挑戰(zhàn)-gaozhijun

1、大數(shù)據(jù)時代世界的本質(zhì)就是數(shù)據(jù)，大數(shù)據(jù)將開啟一次重大的時代轉(zhuǎn)型 生活、工作與思維的大變革目錄2.大數(shù)據(jù)的價值1.什么是大數(shù)據(jù)3.大數(shù)據(jù)的應(yīng)用4.電信大數(shù)據(jù)解決思路5.大數(shù)據(jù)的學(xué)習(xí)我眼中的大數(shù)據(jù)大數(shù)據(jù)是由大量異構(gòu)的數(shù)據(jù)組成的數(shù)據(jù)集合，它是可以采用合理的數(shù)學(xué)算法或工具從中找出有價值的信息，為人們帶來利益的一門新興學(xué)科。交易數(shù)據(jù)交互數(shù)據(jù)傳感數(shù)據(jù)數(shù)據(jù)體量巨大(Volume)數(shù)據(jù)類型繁多(Variety)價值密度低(Value)處理速度快(Velocity)大數(shù)據(jù)定義百度百科：大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理

2、、并整理成為幫助企業(yè)經(jīng)營決策 更積極目的的資訊。維基百科：大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的 整合共享，交叉復(fù)用 形成的智力資源和知識服務(wù)能力。大數(shù)據(jù)大數(shù)據(jù)時代的誕生的背景facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動互聯(lián) 21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)也迅速的產(chǎn)生、膨脹并變大。互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在

3、瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生： 半個世紀(jì)以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)誕生的背景：海量數(shù)據(jù)增長2009年:0.8 ZB44倍的增長2020年 : 35.2 Zettabytes傳統(tǒng)企業(yè)數(shù)據(jù)（Traditional enterprise data）機器和傳感器數(shù)據(jù)（Machine-generated /sensor data）社交數(shù)據(jù)（Social data）大數(shù)

4、據(jù)的4V特點“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的特征數(shù)據(jù)量巨大，具體多大量的數(shù)據(jù)才能算做大數(shù)據(jù)是沒有統(tǒng)一標(biāo)準(zhǔn)，數(shù)據(jù)量越大越容易得出準(zhǔn)確的預(yù)測結(jié)果(PB-EB-ZB-YB-NB-DB)。實效性高，比傳統(tǒng)方式更快得到正確的結(jié)果 ，才真正的體現(xiàn)出大數(shù)據(jù)的價值。主要用于預(yù)測，目前的大數(shù)據(jù)領(lǐng)域主要工作方式是通過計算機的強大數(shù)據(jù)處理能力從海量的數(shù)據(jù)中找到人們依靠以往經(jīng)驗很難發(fā)現(xiàn)和理解的關(guān)聯(lián)，通過對這些關(guān)聯(lián)來進

5、行預(yù)測，發(fā)現(xiàn) 更多的 有價值的信息。更關(guān)注相關(guān)性，即“結(jié)果是什么”，至于“為什么會這樣”，大數(shù)據(jù)本身往往并不能給出答案。數(shù)據(jù)分析法非常復(fù)雜，依靠傳統(tǒng)關(guān)系性數(shù)據(jù)庫BI分析已經(jīng)不是太適合了。大數(shù)據(jù) 采用的相關(guān)關(guān)系分析方法 更準(zhǔn)確、更快，而且不容易受到偏見的影響。建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫的區(qū)別 一：結(jié)構(gòu)化程度方面?zhèn)鹘y(tǒng)數(shù)據(jù)庫保存的是結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，以二維表或者標(biāo)準(zhǔn)XML文件的方式存儲數(shù)據(jù)，由于結(jié)構(gòu)清晰，處理相對容易；大數(shù)據(jù)面向的是 一切計算機可以存儲的數(shù)據(jù)格式，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁、圖片、音頻、視頻，包括辦公文檔、報表，包括人們在搜索引擎中輸入的關(guān)鍵

6、詞、在社交網(wǎng)絡(luò)中的留言、喜好，也包括各種傳感器自動收集的監(jiān)控結(jié)果等等，顯然不同格式的數(shù)據(jù)在處理起來時更加困難。 二：異常數(shù)據(jù)的處理方面?zhèn)鹘y(tǒng)數(shù)據(jù)庫通常把異常數(shù)據(jù)先剔除，應(yīng)用在需要高精確度的領(lǐng)域，如銀行對每個賬戶的管理上；大數(shù)據(jù)則允許異常數(shù)據(jù)存在，從大量數(shù)據(jù)中 找出隱藏的關(guān)聯(lián)關(guān)系，少量異常數(shù)據(jù)不會對總體結(jié)果產(chǎn)生影響。更多應(yīng)用在預(yù)測方面。大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)庫學(xué)科的分支在數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的基礎(chǔ)上進一步發(fā)展起來的。但有兩點比較主要的不同：大數(shù)據(jù)與其他新興技術(shù)的聯(lián)系大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算、移動通信等都是近年涌現(xiàn)出來的新興概念，彼此之間不是孤立的，而是存在著內(nèi)部聯(lián)系大數(shù)據(jù)與云計算的關(guān)系商業(yè)模式驅(qū)動應(yīng)用需求驅(qū)

7、動云計算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式通過大數(shù)據(jù)的業(yè)務(wù)需求，為云計算的落地找到了實際應(yīng)用云計算改變了IT,而大數(shù)據(jù)則改變了業(yè)務(wù)云計算是大數(shù)據(jù)的IT基礎(chǔ)，大數(shù)據(jù)須有云計算作為基礎(chǔ)架構(gòu)，才能高效運行大數(shù)據(jù)不是云計算，是云計算的靈魂和升級方向大數(shù)據(jù)帶來的思維方式的轉(zhuǎn)變處理的對象往往是全部數(shù)據(jù)，而不是部分?jǐn)?shù)據(jù)的采樣不是隨機樣本，而是全部數(shù)據(jù)。在以往計算機存儲和處理能力較弱的情況下，我們會先對數(shù)據(jù)進行采樣，然后進行處理，采樣的不合理會導(dǎo)致預(yù)測結(jié)果的偏差，在大數(shù)據(jù)時代，依靠強大的數(shù)據(jù)處理能力，處理全部的數(shù)據(jù)，實現(xiàn)提升預(yù)測的準(zhǔn)確性。不再執(zhí)迷于精確性不是精確性，而是混雜性。精確的、規(guī)范化的 可以被處理的數(shù)據(jù)只占

8、全部數(shù)據(jù)的5%，只有接受不精確性才能處理另外95%的數(shù)據(jù)，執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。錯誤的數(shù)據(jù)是客觀存在的，竭力避免它就失去了應(yīng)有的客觀性和公平性。大量案例表明，靠改進算法能夠提高的有效性 遠不如增大數(shù)據(jù)量更有效。只有接受不精確性，我們才能打開一扇從未涉及的世界的窗戶。關(guān)注事物 相關(guān)性，而不是因果性不是因果關(guān)系，而是相關(guān)關(guān)系。預(yù)測依靠于事物的相關(guān)性。在人類進化過程中 更專注于 研究因果關(guān)系，但大數(shù)據(jù)進行預(yù)測更多是依靠相關(guān)關(guān)性，在大數(shù)據(jù)環(huán)境下，我們沒必要知道現(xiàn)象背后的原因，知道“是什么”就夠了，不必知道“為什么”。軟件是大數(shù)據(jù)的引擎和推動劑和數(shù)據(jù)中心（Data Center）

9、一樣，軟件是大數(shù)據(jù)的驅(qū)動力軟件改變世界!用戶在線的每一次點擊，每一次評論，每一個視頻點播，就是大數(shù)據(jù)的典型來源。互聯(lián)網(wǎng)企業(yè)之所以取得令人矚目的成績，其核心的本質(zhì) 就是對 用戶網(wǎng)絡(luò)操作的大數(shù)據(jù) 進行記錄，通過分析，形成用戶“行為指紋”，從而洞悉用戶 潛在的、真實的需求，形成預(yù)判，實現(xiàn)大數(shù)據(jù)的價值。如今，我們處在大數(shù)據(jù)時代，海量的數(shù)據(jù)正在源源不斷的產(chǎn)生，如何挖掘數(shù)據(jù)的價值是我們面臨的機遇，軟件是真正推動大數(shù)據(jù)前進的引擎。大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/B test; top N排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機器

10、學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計算結(jié)果展現(xiàn)：云計算；標(biāo)簽云；關(guān)系圖等存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）大數(shù)據(jù)帶來的機遇與風(fēng)險大數(shù)據(jù)是一個新興的學(xué)科領(lǐng)域，機遇與風(fēng)險并存。依靠大數(shù)據(jù)可以為人類帶來很多好處，可以發(fā)現(xiàn)以往不曾發(fā)現(xiàn)的關(guān)聯(lián)，可以創(chuàng)造出更多的新價值，可

11、以推動社會進步。但大數(shù)據(jù)在發(fā)展的過程中，也面臨著諸多風(fēng)險，例如如何保護個人的隱私？如何防止從大量錯誤的數(shù)據(jù)中得到錯誤的結(jié)論？諸多的風(fēng)險也需要我們認真的思考。機遇大數(shù)據(jù)能夠為人類帶來新的理念、新的價值，推動社會的快速進步，能夠讓人類發(fā)現(xiàn)一些以往未曾發(fā)現(xiàn)的潛在關(guān)聯(lián)。風(fēng)險個人隱私如何保護數(shù)據(jù)壟斷、獨裁數(shù)據(jù)主宰一切應(yīng)對人們應(yīng)該建立完善的大數(shù)據(jù)法律體系。人類不能完全依賴于從數(shù)據(jù)中產(chǎn)生的結(jié)果，還要有自己的思考，妥善處理二者的關(guān)系。目錄2.大數(shù)據(jù)的價值1.什么是大數(shù)據(jù)3.大數(shù)據(jù)的應(yīng)用4.電信大數(shù)據(jù)解決思路5.大數(shù)據(jù)的學(xué)習(xí)如今我們正處在大數(shù)據(jù)時代Google、IBM、Amazon、Oracle、Microso

12、ft、EMC等IT行業(yè)巨頭已經(jīng)在大數(shù)據(jù)產(chǎn)業(yè)鏈開始行動，從不同的角度挖掘大數(shù)據(jù)的價值。騰訊、百度、新浪、淘寶等國內(nèi)知名互聯(lián)網(wǎng)和電商公司也快速加入到大數(shù)據(jù)隊伍中，對已經(jīng)持有的大數(shù)據(jù)進行挖掘，以便改善自身的服務(wù)。大數(shù)據(jù)正在改變我們的生活 以及 我們理解世界的方式，而更多的改變正蓄勢待發(fā)。大數(shù)據(jù)的價值大數(shù)據(jù)不僅僅是“大”多大？PB 級比大更重要的是數(shù)據(jù)的復(fù)雜性。如何發(fā)現(xiàn)大數(shù)據(jù)中的有價值的小數(shù)據(jù)，將是具有顛覆性的意義實際上，如果你有數(shù)據(jù)，不管你什么樣的方式，如果不能很快去分析出來，你的數(shù)據(jù)永遠只是一些數(shù)字而已，產(chǎn)生不了任何的商業(yè)價值。大數(shù)據(jù)的真正意義- 就是如何讓數(shù)據(jù)變的更有價值大數(shù)據(jù)在商業(yè)領(lǐng)域體現(xiàn)出的

13、價值數(shù)據(jù)數(shù)據(jù)的掌控者。擁有或者可以收集大量數(shù)據(jù)的公司。海量的數(shù)據(jù)就是財富，可以考慮自己分析或者賣數(shù)據(jù)給其他公司。技術(shù)技術(shù)供應(yīng)商或者分析公司。掌握了從海量數(shù)據(jù)中分析出有用信息的技能或者工具，但本身不一定擁有數(shù)據(jù)，但是他們技術(shù)能夠挖掘數(shù)據(jù)出的價值。思維有創(chuàng)新思維的人或者公司。他們對大數(shù)據(jù)敏感，擁有如何挖掘數(shù)據(jù) 新價值的獨特想法。往往能夠創(chuàng)立新型的商業(yè)模式或者公司，然后發(fā)展擴大或者出售給其他公司。大數(shù)據(jù)價值鏈的3大構(gòu)成：數(shù)據(jù)、技術(shù)、思維大數(shù)據(jù)的價值微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù)

14、;而我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！瘪R云對未來的預(yù)測，是建立在對用戶行文分析的基礎(chǔ)上。通常而言，買家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)。大數(shù)據(jù)的價值前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求

15、的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費使用這些產(chǎn)品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價值就越高。這是正向的循環(huán)，谷歌用 好用的、免費的軟件產(chǎn)品，換取對用戶的理解；通過精準(zhǔn)的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求大數(shù)據(jù)的價值大數(shù)據(jù)的價值不僅僅在精準(zhǔn)營銷的領(lǐng)域。通過用戶行為分析實現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用場景。但

16、是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景。氣象軍事消費行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生交通環(huán)保電子商務(wù)大數(shù)據(jù)的科學(xué)價值和社會價值體現(xiàn)：一方面，對大數(shù)據(jù)的掌控程度可以轉(zhuǎn)化為經(jīng)濟價值的來源。另一方面，大數(shù)據(jù)已經(jīng)撼動了世界的方方面面，從商業(yè)科技到醫(yī)療、政府、教育、經(jīng)濟、人文以及社會的其他各個領(lǐng)域。 在不久的將來，世界許多 現(xiàn)在單純依靠人類判斷力的領(lǐng)域都會被計算機系統(tǒng)所改變甚至取代，亞馬遜可以幫我們推薦想要的書，谷歌可以為關(guān)聯(lián)網(wǎng)站排序，facebook知道我們的喜好，而LinkedIn 可以猜出我們認識誰。當(dāng)然，同樣的技術(shù)也可以運用到疾病診斷、推薦治療措施，甚至是識別潛在犯罪分子。 最終，我

17、們都將從大數(shù)據(jù)中獲的更多的利益。大數(shù)據(jù)的價值-目標(biāo)目錄2.大數(shù)據(jù)的價值1.什么是大數(shù)據(jù)3.大數(shù)據(jù)的應(yīng)用4.電信大數(shù)據(jù)解決思路5.大數(shù)據(jù)的學(xué)習(xí)哪些行業(yè)適合用大數(shù)據(jù)應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：表示該用戶的IT應(yīng)用特點與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注： 圖中位置不代表具體數(shù)值，僅供參加HighMidLowLowMidHigh優(yōu)先關(guān)注行業(yè)用戶應(yīng)用特點與大數(shù)據(jù)技術(shù)有較高的契合度，在主客觀條件上也有較高的應(yīng)用可能性。值得關(guān)注行業(yè)用戶應(yīng)有特點與大數(shù)據(jù)的契合度及應(yīng)用可能性綜合較高適當(dāng)關(guān)注行業(yè)用戶兩個維

18、度暫時都不具備優(yōu)勢，可適當(dāng)給予關(guān)注互聯(lián)網(wǎng)（電子商務(wù)）契合度流通零售制造大數(shù)據(jù)的潛在應(yīng)用場景21互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)主要應(yīng)用在社交和網(wǎng)購方面結(jié)合位置數(shù)據(jù)、消費數(shù)據(jù)進行實時營銷信息推送是電信行業(yè)大數(shù)據(jù)應(yīng)用主要場景數(shù)據(jù)來源：CCW Research, 2012/4互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)應(yīng)用場景數(shù)據(jù)來源：CCW Research, 2012/4電信行業(yè)大數(shù)據(jù)應(yīng)用場景3數(shù)據(jù)來源：CCW Research, 2012/4金融行業(yè)大數(shù)據(jù)應(yīng)用場景金融行業(yè)大數(shù)據(jù)應(yīng)用場景主要集中在投資方面4數(shù)據(jù)來源：CCW Research, 2012/4制造行業(yè)大數(shù)據(jù)應(yīng)用場景制造行業(yè)具有多環(huán)節(jié)、多地域特色，各個環(huán)節(jié)的優(yōu)化是制造行業(yè)最關(guān)注

19、的大數(shù)據(jù)應(yīng)用場景中國的大數(shù)據(jù)市場12011年-2016年中國大數(shù)據(jù)市場規(guī)模22012年各行業(yè)大數(shù)據(jù)市場規(guī)模計世資訊預(yù)測，2012年政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。由于各個行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場空間非?？捎^。計世資訊認為，2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。計世資訊預(yù)測，2012年中國大數(shù)據(jù)市場規(guī)模將達到4.7億元，2013年大數(shù)據(jù)市場將迎來增速為138.3%的飛躍，到2016年，整個市場規(guī)模逼近百億。中國企業(yè)大數(shù)據(jù)需求半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化

20、數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)企業(yè)非結(jié)構(gòu)化數(shù)據(jù)越來越多中國500強企業(yè)日數(shù)據(jù)生成量中國500強企業(yè)數(shù)據(jù)中心數(shù)據(jù)年增長率中國企業(yè)級數(shù)據(jù)中心數(shù)據(jù)存儲量正在快速增長，非結(jié)構(gòu)化數(shù)據(jù)呈指數(shù)倍增長。如果能有效的處理和分析，非結(jié)構(gòu)數(shù)據(jù)中也富含了對企業(yè)非常有價值的信息，那將是企業(yè)發(fā)展 至關(guān)重要的因素。企業(yè)的數(shù)據(jù)系統(tǒng)架構(gòu)存在問題企業(yè)數(shù)據(jù)分析處理面臨的問題行業(yè)企業(yè)對大數(shù)據(jù)的關(guān)注程度大數(shù)據(jù)帶來未來IT投資重心轉(zhuǎn)移結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進，使得未來IT投資重點不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；經(jīng)過大數(shù)據(jù)改造的IT不再是一個冷冰冰的系統(tǒng)，而變成了推動業(yè)務(wù)發(fā)展，挖掘客戶內(nèi)心需求的真正推動劑；大數(shù)據(jù)將催生更多的應(yīng)用領(lǐng)域需求。

21、傳統(tǒng)的IT架構(gòu)的改變，分布式處理、存儲系統(tǒng)將得到更多的應(yīng)用 。更高一層整合企業(yè)內(nèi)外部目錄2.大數(shù)據(jù)的價值1.什么是大數(shù)據(jù)3.大數(shù)據(jù)的應(yīng)用4.電信大數(shù)據(jù)解決思路5.大數(shù)據(jù)的學(xué)習(xí)中國電信大數(shù)據(jù)解決方案-存儲、分類、統(tǒng)計、建模、預(yù)測能夠在不同的數(shù)據(jù)類型間 進行交叉分析，通過多維表模式實現(xiàn)數(shù)據(jù)的標(biāo)示。包括 語義分析技術(shù)、圖文轉(zhuǎn)換技術(shù)、模式識別技術(shù)、地理信息技術(shù)等等，都在電信大數(shù)據(jù)分析中獲得應(yīng)用。High performance 高并發(fā)讀寫的需求高并發(fā)、實時動態(tài)獲取和更新數(shù)據(jù)Huge Storage 海量數(shù)據(jù)的高效率存儲和訪問的需求類似SNS網(wǎng)站，海量用戶信息的高效率實時存儲和查詢High Scalab

22、ility & High Availability 高可擴展性和高可用性的需求需要擁有快速橫向擴展能力、提供7*24小時不間斷服務(wù)更高性價比的數(shù)據(jù)計算與儲存方式計算更快 存儲更省電信大數(shù)據(jù)方案不僅能存儲全局的數(shù)據(jù)，而且采用新型的分布式存儲方案，在存儲更多數(shù)據(jù)的同時，降低單位存儲成本。中國電信認為，發(fā)覺數(shù)據(jù)的價值、征服數(shù)據(jù)海洋的“動力”就是云計算，云計算技術(shù)是大數(shù)據(jù)的基礎(chǔ)也是大數(shù)據(jù)的最好應(yīng)用和體現(xiàn)。云計算出現(xiàn)之前，傳統(tǒng)的計算機是 無法處理 如此大量的、并且不規(guī)則的“非結(jié)構(gòu)化數(shù)據(jù)”，以云計算為基礎(chǔ)的 信息存儲、分享和挖掘手段，可以便宜、有效的將這些大數(shù)據(jù)、高速、多變化的終端數(shù)據(jù)存儲下來，并隨時進行

23、分析與計算。中國電信的全面數(shù)據(jù)洞察可視：結(jié)構(gòu)化資料 10%未視：半/非結(jié)構(gòu)化數(shù)據(jù) 90%DB/DW當(dāng)前主管們看的數(shù)據(jù)位儀表板，其實是殘缺的大數(shù)據(jù)的真實價值 就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。電信大數(shù)據(jù)解決方案 提供全面的完善的IT基礎(chǔ)架構(gòu)，實現(xiàn)對 半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的快速存儲，通過對數(shù)據(jù)的挖掘、分析，幫助企業(yè)建立一個完整的數(shù)據(jù)視圖。目錄2.大數(shù)據(jù)的價值1.什么是大數(shù)據(jù)3.大數(shù)據(jù)的應(yīng)用4.電信大數(shù)據(jù)解決思路5.大數(shù)據(jù)的學(xué)習(xí)大數(shù)據(jù)的學(xué)習(xí)不知道BIG DATA? 你out 了!時至今日，“Big data”（大數(shù)據(jù)）時代的來臨已經(jīng)毋庸置疑，尤其是在電信、金融、互聯(lián)網(wǎng)等行業(yè)，幾乎已經(jīng)到了“數(shù)據(jù)就是業(yè)務(wù)本