課件01多結(jié)構(gòu)化數(shù)據(jù)管理概述

多結(jié)構(gòu)化數(shù)據(jù)管理

潘鵬現(xiàn)代數(shù)據(jù)管理的特征——結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化（不易組織）——文本、圖像、視頻、音頻（內(nèi)容多樣，不易處理）——海量（不易存?。谡Z義（不易查找）——面向網(wǎng)絡(luò)（不易管理）2現(xiàn)代數(shù)據(jù)管理的特征1）數(shù)據(jù)的形式多樣——結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化——文本、圖像、視頻、音頻——單模態(tài)、多模態(tài)數(shù)據(jù)庫方式：——以結(jié)構(gòu)化為主，擅長處理結(jié)構(gòu)化數(shù)據(jù)?！谋?、數(shù)字、日期等程序可直接識別的符號數(shù)據(jù)。3數(shù)據(jù)類型！現(xiàn)代數(shù)據(jù)管理的特征2）查詢的需求——文字匹配——基于語義——相似性匹配、排序——聚類、分類、去冗余數(shù)據(jù)庫方式：——基于關(guān)鍵字、基于值的比較——精確匹配、排序——存在性查詢、等值查詢、范圍查詢4檢索算法！現(xiàn)代數(shù)據(jù)管理的特征3）運行和應(yīng)用環(huán)境

和網(wǎng)絡(luò)（尤其是語義網(wǎng)）結(jié)合更加密切、更加直接:——大量的數(shù)據(jù)直接來自網(wǎng)絡(luò)，包括用于機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)和用于檢索的數(shù)據(jù)?！Z義知識也可能從網(wǎng)絡(luò)中獲取?！cweb應(yīng)用集成（電子商務(wù)、搜索引擎、內(nèi)容檢索、情報分析）——網(wǎng)絡(luò)后臺數(shù)據(jù)

、爬蟲數(shù)據(jù)庫方式：

企業(yè)級應(yīng)用，生產(chǎn)型企業(yè)、政府部門的較規(guī)范化的信息管理，用于規(guī)范和優(yōu)化管理的流程，提高業(yè)務(wù)吞吐量。

手工錄入、批量導(dǎo)入。5價值挖掘！現(xiàn)代數(shù)據(jù)管理的特征4）處理的需求——面向海量數(shù)據(jù)，TB、PB級別——查詢?yōu)橹?、更新不頻繁（？）——數(shù)據(jù)一致性可弱化數(shù)據(jù)庫方式：——面向企業(yè)級數(shù)據(jù)庫——增、刪、改、查——ACID特性的控制6系統(tǒng)運行機(jī)制！現(xiàn)代數(shù)據(jù)管理的特征5）關(guān)鍵技術(shù)——相似性的度量——高維數(shù)據(jù)的處理——語義特征的獲取——語義知識的組織——訓(xùn)練、學(xué)習(xí)的模型——海量數(shù)據(jù)的分布存儲、分布式并行處理——查詢反饋——可視化7現(xiàn)代數(shù)據(jù)管理的特征數(shù)據(jù)庫方式：——基于數(shù)據(jù)字典的數(shù)據(jù)組織——關(guān)系代數(shù)理論的實現(xiàn)技術(shù)——索引機(jī)制——多維數(shù)據(jù)（不是高維）的查詢算法——面向關(guān)系代數(shù)的查詢優(yōu)化——系統(tǒng)保護(hù)（并發(fā)、恢復(fù)、完整性控制、安全性控制）8現(xiàn)代數(shù)據(jù)管理的特征6）系統(tǒng)開放性

——分布式、易于擴(kuò)充、低成本——編程模型數(shù)據(jù)庫方式——服務(wù)器模式、異構(gòu)集成、中間件——編程接口9‘大數(shù)據(jù)(BigData)”概念的提出每秒鐘，人們發(fā)送290封電子郵件；

每分鐘人們在youtube上傳20小時的視頻；

人們每月在總共在facebook上瀏覽7000億分鐘；

移動互聯(lián)網(wǎng)用戶發(fā)送和上傳的數(shù)據(jù)量達(dá)到1.3exabytes，相當(dāng)于10的18次方；

每秒鐘亞馬遜處理72.9筆訂單；

。。。。。。

101112‘大數(shù)據(jù)(BigData)”概念的提出麥肯錫全球研究院（MGI）估算，全球企業(yè)2010年在硬盤上存儲了超過7EB（1EB＝10億GB）的新數(shù)據(jù)，同時，消費者在PC和筆記本等設(shè)備上存儲了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當(dāng)于美國國會圖書館中存儲的數(shù)據(jù)的4000多倍。對這些海量數(shù)據(jù)的存儲，超過了任何一家傳統(tǒng)企業(yè)的能力?！?/p>

對于互聯(lián)網(wǎng)平臺級的公司，他們每時每刻在忙于把這些數(shù)據(jù)收集、整理、歸類、保存（或者托管方式）。13‘大數(shù)據(jù)(BigData)”概念的提出以Google為例目前有超過200個Google文件系統(tǒng)集群在運行，每個集群大約有1000～5000臺機(jī)器，每個谷歌文件系統(tǒng)(Googlefilesystem，GFs)都存儲著高達(dá)5PB的數(shù)據(jù)。成千上萬的機(jī)器需要的數(shù)據(jù)都從GFS集群中檢索，這些集群中數(shù)據(jù)讀寫的吞吐量可高達(dá)40GBps，每天都在產(chǎn)生著含大量知識的數(shù)據(jù)。14‘大數(shù)據(jù)(BigData)”概念的提出傳統(tǒng)的企業(yè)中，數(shù)據(jù)多是以表格的形式保存在數(shù)據(jù)庫中?！械男畔⒏袷蕉家粯?便于編程處理。∣

處理需求、處理方法、優(yōu)化措施。

15‘大數(shù)據(jù)(BigData)”概念的提出微博等各種網(wǎng)絡(luò)信息發(fā)布渠道的海量數(shù)據(jù)：文本、照片、視頻位置信息、鏈接信息、XML類型的數(shù)據(jù)。。。“長微博”工具——把文字轉(zhuǎn)換成圖片，突破140字的限制

往往圖片形式存在的微博，包含大量的信息。

數(shù)據(jù)的生成（基于語義），表現(xiàn)形式自然、直觀。16‘大數(shù)據(jù)(BigData)”概念的提出社會化的網(wǎng)絡(luò)，為大數(shù)據(jù)提供了額外的價值維度。

一件商品、一則消息、一副圖片。。。

↓不同影響力的社會個體不同的附加價值和效果

在不同的數(shù)據(jù)類型中進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技術(shù)之一。↓

語義分析技術(shù)、圖文轉(zhuǎn)換技術(shù)、模式識別技術(shù)、地理信息技術(shù)等等，都將獲得應(yīng)用。17‘大數(shù)據(jù)(BigData)”概念的提出沙里淘金大數(shù)據(jù)無疑是有價值的（視頻監(jiān)控、流量記錄、日志記錄。。。）

但是挖掘大數(shù)據(jù)的價值類似沙里淘金（每天產(chǎn)生24小時的視頻數(shù)據(jù)，絕大部分都沒有利用價值，可能是幾秒鏡頭捕捉到某罪犯體貌特征，對公安部門而言就是彌足珍貴的。為了這幾秒鐘，必須要保存全部的24小時）。

↓

大數(shù)據(jù)的一個典型特征，價值密度比較低（為了一點金子，需要保存全部沙子）。18‘大數(shù)據(jù)(BigData)”概念的提出實時處理的要求，是區(qū)別大數(shù)據(jù)應(yīng)用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)、BI技術(shù)的關(guān)鍵差別之一數(shù)據(jù)倉庫系統(tǒng)、BI應(yīng)用對處理時間的要求并不高（甚至可以容忍1、2天獲得結(jié)果）。

對于更多用戶而言則需要在1秒鐘內(nèi)形成答案，否則這些結(jié)果可能就是過時的、無效的、或者難以忍受的。19網(wǎng)絡(luò)化、服務(wù)化、平臺無關(guān)、云計算、客戶體驗。。。金融從業(yè)人員所需的股價波動信息、導(dǎo)航用戶所需的實時路況信息、搜索引擎的返回結(jié)果、社會關(guān)系網(wǎng)絡(luò)信息‘大數(shù)據(jù)(BigData)”觀點的提出業(yè)界對大數(shù)據(jù)歸納出4個層面的特點（4V）：

Volume：數(shù)據(jù)體量巨大（從TB級別，躍升到PB級別）；

Variety：數(shù)據(jù)類型繁多（網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等）；

Velocity：處理速度快（1秒定律，有別于傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)）；

Value：價值密度低。

Veracity：真實性——IBM。

Variability：易變性——Forrester分析師布賴恩·霍普金斯(BrianHopkins)和鮑里斯·埃韋爾松(BorisEvelson)撰寫的《首席信息官，請用大數(shù)據(jù)擴(kuò)展數(shù)字視野》報告中。

目前，沒有大數(shù)據(jù)的正式定義。20BigData相關(guān)的研究計劃2012年3月29日，美國政府宣布

“大數(shù)據(jù)的研究和發(fā)展計劃?！碧岣邚拇笮蛷?fù)雜的數(shù)字?jǐn)?shù)據(jù)集中提取知識和觀點的能力，承諾幫助加快在科學(xué)與工程中的步伐，加強(qiáng)國家安全，并改變教學(xué)研究。

六個聯(lián)邦政府的部門和機(jī)構(gòu)宣布新的2億美元的投資，提高從大量數(shù)字?jǐn)?shù)據(jù)中訪問、組織、收集發(fā)現(xiàn)信息的工具和技術(shù)水平。

21BigData相關(guān)的研究計劃國防部多尺度異常檢測（ADAMS）項目解決大規(guī)模數(shù)據(jù)集的異常檢測和特征化。MachineReading

項目，旨在實現(xiàn)人工智能的應(yīng)用和發(fā)展學(xué)習(xí)系統(tǒng)的過程中對自然文本進(jìn)行知識插入，而不是依靠昂貴和費時的知識表示目前的處理進(jìn)程，并需要專家和相關(guān)知識工程師所給出的語義表示信息。

22BigData相關(guān)的研究計劃Mind‘s

Eye

項目，旨在為機(jī)器建立視覺的智能。傳統(tǒng)的機(jī)器視覺研究的對象選取廣泛的物體來描述一個場景的屬性名詞，而Mind’s

Eye旨在增加在這些場景的動作認(rèn)識和推理需要的知覺認(rèn)知基礎(chǔ)。這些技術(shù)可以建立一個更完整的視覺智能效果。視頻和圖像的檢索和分析工具(VIRAT)計劃旨在開發(fā)一個系統(tǒng)能夠利用軍事圖像分析員收集的數(shù)據(jù)進(jìn)行大規(guī)模的軍事圖像分析，使分析師能夠在相關(guān)活動發(fā)生時建立警報。VIRAT還計劃開發(fā)工具，能夠以較高的準(zhǔn)確率和召回率的從大量視頻庫里進(jìn)行視頻內(nèi)容的檢索。23BigData相關(guān)的研究計劃XDATA項目計劃旨在開發(fā)用于分析大量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的計算技術(shù)和軟件工具。其核心挑戰(zhàn)是可伸縮的算法在分布式數(shù)據(jù)存儲中的應(yīng)用、如何使人機(jī)交互工具能夠有效迅速的定制不同的任務(wù)，以方便對不同數(shù)據(jù)進(jìn)行視覺化處理。對開源軟件工具包的靈活使用，處理大量國防應(yīng)用中的數(shù)據(jù)。24BigData相關(guān)的研究計劃國家人文基金會數(shù)據(jù)挖掘的挑戰(zhàn)旨分析大數(shù)據(jù)的變化對人文社會科學(xué)的影響，這種新的計算為基礎(chǔ)的研究方法都需要搜索、分析和理解大量的材料，如數(shù)字化的書籍和報紙數(shù)據(jù)庫，從網(wǎng)絡(luò)搜索，傳感器和手機(jī)記錄交易數(shù)據(jù)。BigData相關(guān)的研究計劃計算先行者已經(jīng)資助在加州大學(xué)伯克利分校的一個研究小組，深入整合算法、機(jī)器和人，以解決大數(shù)據(jù)的研究挑戰(zhàn)。

隨機(jī)網(wǎng)絡(luò)模型的重點研究組開發(fā)一種統(tǒng)一的理論框架為基準(zhǔn)的統(tǒng)計方法，可伸縮的網(wǎng)絡(luò)模型算法，以區(qū)別隨機(jī)性的網(wǎng)絡(luò)知識。通過學(xué)習(xí)大量報紙數(shù)據(jù)中單詞和短語之間的關(guān)系，提供自動化和可擴(kuò)展性的媒體分析工具。

相關(guān)的研究熱點之知識庫構(gòu)建基于開放網(wǎng)絡(luò)大數(shù)據(jù)構(gòu)建知識庫是國內(nèi)外工業(yè)界開發(fā)和學(xué)術(shù)界研究的一個熱點。目前，世界各國各個組織建立的知識庫多達(dá)50余種，相關(guān)的應(yīng)用系統(tǒng)更是達(dá)到了上百種。

其中，有代表性的知識庫或應(yīng)用系統(tǒng)有KnowItAll，TextRunner，NELL，Probase，Satori，PROSPERA，SOFIE以及一些基于維基百科等在線百科知識構(gòu)建的知識庫DBpedia，YAGO，Omega，WikiTaxonomy。27相關(guān)的研究熱點之知識庫構(gòu)建一些著名的商業(yè)網(wǎng)站、公司和政府也發(fā)布了類似的知識搜索和計算平臺。如Evi公司的TrueKnowledge知識搜索平臺；美國官方政府網(wǎng)站Data．gov；wolfram的知識計算平臺wolframalpha；Google的知識圖譜(knowledgegraph)；Facebook推出的類似的實體搜索服務(wù)graphsearch等。28相關(guān)的研究熱點之知識庫構(gòu)建在國內(nèi)，中文知識圖譜的構(gòu)建也有大量的研究和開發(fā)工作。

代表性工作有：中國科學(xué)院計算技術(shù)研究所的基于OpenKN(開放知識網(wǎng)絡(luò))的“人立方、事立方、知立方系統(tǒng)”；中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院的陸汝鈐（qián）提出的知件(knowware)；上海交通大學(xué)最早構(gòu)建的中文知識圖譜平臺zhishi．me；百度推出的中文知識圖譜搜索；搜狗推出的知立方平臺；復(fù)旦大學(xué)GDM實驗室推出的中文知識圖譜展示平臺等。29相關(guān)的研究熱點之知識庫構(gòu)建就規(guī)模而言，擁有概念最多的知識庫是Probase，目前核心概念約270萬，概念總量達(dá)到千萬級。

包含實體最多的是wolframalpha，有10萬億個實體。

近年來影響力比較大的知識庫或知識搜索服務(wù)有Google的知識圖譜，目前規(guī)模是5億個實體對象和350億條實體間關(guān)系信息，且規(guī)模在隨著信息的增長不斷地增加；微軟亞洲研究院的Probase也是近幾年比較熱門的知識庫，它是基于概率化構(gòu)建的知識庫，支持針對短文本的語義理解。比較有特色的還有國內(nèi)搜狗的知立方系統(tǒng)，側(cè)重與基于圖的邏輯推理計算，包括利用語義網(wǎng)的三元組推理補(bǔ)充實體數(shù)據(jù)、對用戶查詢詞進(jìn)行語義理解以及句法分析等。30相關(guān)的研究熱點之知識庫構(gòu)建

Google發(fā)布的知識圖譜，將搜索結(jié)果知識系統(tǒng)化，一個關(guān)鍵詞就能獲得完整的知識體系，從而讓用戶能快捷簡單地發(fā)現(xiàn)新的信息和知識。知識圖譜從Freebase、維基百科或全球概覽中獲得專業(yè)的信息，并通過大規(guī)模的信息搜索分析來提高結(jié)果的深度和廣度?！爸R圖譜”和傳統(tǒng)的搜素結(jié)果相比，在3個方面有所提升：①結(jié)果的正確與全面

一個關(guān)鍵詞可能有多重含義，知識圖譜會展示全面的信息，讓用戶找到自己最想要的答案。②最好的總結(jié)更好地的理解用戶搜索的信息，并總結(jié)出相關(guān)的內(nèi)容和主題?！叭恕说纳绞论E”。③更深、更廣。

知識圖譜”會給出搜索結(jié)果的完整知識體系，用戶可能會發(fā)現(xiàn)新知識。“一個旅行目的地——以此命名的餐館——一本小說——同名電影”。31大數(shù)據(jù)領(lǐng)域的開源技術(shù)1.ApacheHadoop一個開源的分布式計算框架。

最初由Doug為支持其開源Web搜索引擎Nutch所創(chuàng)立。通過集成MapReduce技術(shù)，Hadoop將大數(shù)據(jù)分布到多個數(shù)據(jù)節(jié)點上進(jìn)行處理。Hadoop遵循Apache2.0許可證，可以輕松處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，成為現(xiàn)在非常流行的大數(shù)據(jù)解決方案。32大數(shù)據(jù)領(lǐng)域的開源技術(shù)2.R語言R語言是一種開源編程語言，專門為數(shù)據(jù)統(tǒng)計和數(shù)據(jù)可視化而設(shè)計。R語言最初由RossIhaka和RobertGentleman在奧克蘭大學(xué)設(shè)計出來，之后迅速成為大數(shù)據(jù)領(lǐng)域的重要工具。R語言遵循GNU的GPL（GeneralPublicLicense，通用公共許可證）。33Matlab？大數(shù)據(jù)領(lǐng)域的開源技術(shù)3.Cascading一個針對Java開發(fā)人員的應(yīng)用框架，可以基于ApacheHadoop開發(fā)數(shù)據(jù)分析和數(shù)據(jù)管理應(yīng)用。是Hadoop的抽象層，可以屏蔽MapReduce的復(fù)雜性，支持任何基于JVM的編程語言在Hadoop集群上執(zhí)行數(shù)據(jù)處理任務(wù)。最初由ChrisWensel開發(fā)，用作MapReduce的替代API。遵循GNU許可證，一般用于廣告定位、日志分析、Web數(shù)據(jù)挖掘和ETL應(yīng)用。34Extraction-Transformation-Loading，數(shù)據(jù)提取、轉(zhuǎn)換和加載大數(shù)據(jù)領(lǐng)域的開源技術(shù)4.Scribe一個由Facebook開發(fā)的日志聚合服務(wù)器軟件，用于實時從大量服務(wù)器匯集日志數(shù)據(jù)。于2008年發(fā)布，遵循Apache2許可證，擴(kuò)展性極佳，每天可應(yīng)對數(shù)百億日志記錄的挑戰(zhàn)。35大數(shù)據(jù)領(lǐng)域的開源技術(shù)5.ElasticSearch一款由ShayBanon開發(fā)，遵循Apache許可證的開源搜索服務(wù)器。基于分布式計算，對于實時搜索可以提供很好的可擴(kuò)展性解決方案。一些公司已經(jīng)對ElasticSearch表示認(rèn)可（例如StumbleUpon和Mozilla）。36社交化網(wǎng)頁推薦引擎，瀏覽器插件，firefox大數(shù)據(jù)領(lǐng)域的開源技術(shù)6.ApacheHbase一個使用Java語言編寫的、以谷歌BigTable技術(shù)為基礎(chǔ)的開源非關(guān)系型列式分布數(shù)據(jù)庫，可運行在HDFS文件系統(tǒng)之上。HBase提供了很好的存儲容錯能力和快速訪問大量稀疏文件的能力。遵循Apache2許可證。37大數(shù)據(jù)領(lǐng)域的開源技術(shù)7.ApacheCassandra由Facebook開發(fā)的另一個開源NoSQL數(shù)據(jù)庫，遵循Apache2許可證。

出于對HBase的喜愛，F(xiàn)acebook開始逐漸放棄使用Cassandra，但許多公司（如Netflix）依然使用Cassandra數(shù)據(jù)庫為其后端流媒體服務(wù)提供動力。38大數(shù)據(jù)領(lǐng)域的開源技術(shù)8.MongoDB一個基于分布式文件存儲的數(shù)據(jù)庫，旨在為Web應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲解決方案。采用C++語言編寫，是非常流行的JSON文檔式NoSQL數(shù)據(jù)庫，受到許多公司認(rèn)同，MTVNetworks、craigslist和迪斯尼互動傳媒集團(tuán)，紐約時報以及Etsy都是MongoDB的客戶。39JSON(JavaScriptObjectNotation)是一種輕量級的數(shù)據(jù)交換格式，基于JavaScript的一個子集，采用完全獨立于語言的文本格式，但是也使用了類似于C語言家族的習(xí)慣（包括C,C++,C#,Java,JavaScript,Perl,Python等），從而使JSON成為理想的數(shù)據(jù)交換語言。易于人閱讀和編寫，同時也易于機(jī)器解析和生成。大數(shù)據(jù)領(lǐng)域的開源技術(shù)9.ApacheCouchDB一個開源NoSQL數(shù)據(jù)庫，它以文檔方式（JSON）存儲數(shù)據(jù)。

使用JavaScript語言作為查詢語言，集成MapReduce技術(shù)。IBMLotusNotes的開發(fā)人員DamienKatz在2005年構(gòu)建了CouchDB，用于大規(guī)模對象的數(shù)據(jù)存儲系統(tǒng)。CouchDB遵循Apache2許可證，英國廣播公司（BBC）使用CouchDB存儲動態(tài)內(nèi)容，瑞士瑞信銀行（CreditSuisse）的商品部也采用了它。40相關(guān)的企業(yè)產(chǎn)品

Oracle公司推出AdvancedAnalytics工具，作為Oracle數(shù)據(jù)庫與R分析引擎之間的橋接。

Oracle為其BigDataAppliance提供了一個名為

RConnectorforHadoop的工具，這是一個在OracleExax86集群上運行的ClouderaCDH3Hadoop環(huán)境。該連接器可讓R控制臺與在BigDataAppliance上運行的Hadoop分布式文件系統(tǒng)和NoSQL數(shù)據(jù)庫進(jìn)行通信。41相關(guān)的企業(yè)產(chǎn)品微軟的SystemCenter2012中的SystemCenterVirtualMachineManager(VMM)2012著重提供私有云解決方案。由數(shù)據(jù)分析人員或最終用戶創(chuàng)建出來的BI數(shù)據(jù)模型可以放在類似蘋果“APPStore”的數(shù)據(jù)集市上，通過私有云或共有云的形式進(jìn)行分享。在數(shù)據(jù)倉庫領(lǐng)域，SQLServer2012采用“最先進(jìn)”的列存儲技術(shù)，帶來查詢性能的極大提升。SQLServer2012提供的數(shù)據(jù)倉庫可應(yīng)對數(shù)據(jù)量幾十個TB的情況，數(shù)據(jù)量在幾百個TB的情況下，微軟并行數(shù)據(jù)倉庫產(chǎn)品即可發(fā)揮作用。42相關(guān)的企業(yè)產(chǎn)品IBM的大數(shù)據(jù)平臺，包括Hadoop和StreamComputing兩個組件，并且提供基礎(chǔ)版供免費下載。IBM全球首個大數(shù)據(jù)智慧賦能中心（Big

Data

CenterofCompetency）在北京成立。

Google的GFS、BIGTABLE和MAPREDUCE。43典型應(yīng)用場景搜索引擎購物網(wǎng)站日志處理ETL（Extract-Transform-Load）：中信銀行發(fā)卡量2008年達(dá)到500萬張2010年翻了一倍。數(shù)據(jù)分析解決方案，結(jié)合實時歷史的客戶數(shù)據(jù)，實現(xiàn)實時商業(yè)智能。每天都評估用戶的一些刷卡行為，在當(dāng)天對用戶的信用額度進(jìn)行調(diào)整。提升營銷的水平，以往配置一個營銷活動需要兩周時間，應(yīng)用數(shù)據(jù)解決方案之后，活動變成了2—3天。44典型應(yīng)用場景使用HBase做數(shù)據(jù)分析：Facebook構(gòu)建了基于HBase的實時數(shù)據(jù)分析系統(tǒng)機(jī)器學(xué)習(xí):比如ApacheSoftwareFoundation（ASF）旗下的一個開源項目Mahout，提供一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。45典型應(yīng)用場景——網(wǎng)絡(luò)管理維護(hù)優(yōu)化以某運營商省公司為例，原始數(shù)據(jù)信令達(dá)到1TB/天，以文件形式保存。處理之后生成的xDR（xDetailRecord）數(shù)據(jù)量達(dá)到550GB/天，以數(shù)據(jù)庫形式保存。通常這些數(shù)據(jù)需要保存數(shù)天或數(shù)月。傳統(tǒng)文件系統(tǒng)以及關(guān)系數(shù)據(jù)庫處理這么大的數(shù)據(jù)量顯得捉襟見肘。

46典型應(yīng)用場景——網(wǎng)絡(luò)管理維護(hù)優(yōu)化采用海量分布式文件系統(tǒng)，數(shù)據(jù)存儲量可以按需擴(kuò)展。NoSQL數(shù)據(jù)庫可以有效處理達(dá)PB級的數(shù)據(jù)。實時流處理及分析平臺保證實時處理海量數(shù)據(jù)。

智能分析技術(shù)在大數(shù)據(jù)的支撐下用于網(wǎng)絡(luò)管理維護(hù)優(yōu)化，提升網(wǎng)絡(luò)維護(hù)的實時性，事前預(yù)防成為可能。（通過歷史流量數(shù)據(jù)以及專家知識庫結(jié)合，生成預(yù)警模型，可以有效識別異常流量，防止網(wǎng)絡(luò)擁塞或者病毒傳播等異常。）47典型應(yīng)用場景——用戶行為分析某運營商建立營銷門戶系統(tǒng)，提供與營銷活動相關(guān)的日報、月報統(tǒng)計，包括量收、欠費、用戶發(fā)展、預(yù)警信息、機(jī)構(gòu)樹匯總等內(nèi)容。

目前流量經(jīng)營分析的瓶頸主要是數(shù)據(jù)的采集和處理。每月新增數(shù)據(jù)量4T，傳統(tǒng)方式分析結(jié)果效率低(需要26個小時)，系統(tǒng)擴(kuò)展困難。

采用DataCloud、并行分布式處理等技術(shù)后，報表分析只需要2個小時，系統(tǒng)的擴(kuò)展性和可用性均得到提高。

48典型應(yīng)用場景——用戶行為分析用戶行為結(jié)合用戶profile、產(chǎn)品、服務(wù)、計費、財務(wù)等進(jìn)行綜合分析，實現(xiàn)用戶個性化的策略控制。還可以對管道內(nèi)容（圖片、電影、網(wǎng)頁等）進(jìn)行分析，深入理解用戶的行為特征。49典型應(yīng)用場景——個性化推薦應(yīng)用商店軟件推薦、IPTV視頻節(jié)目推薦——數(shù)據(jù)量大，實時性要求高，涉及到大量的非結(jié)構(gòu)化數(shù)據(jù)以及智能分析。分析用戶已有日志及評論、打分等數(shù)據(jù)，從互聯(lián)網(wǎng)通過爬蟲分析獲得相關(guān)視頻和評論進(jìn)行綜合分析。

可以采用的技術(shù)包括并行計算框架、分布式文件系統(tǒng)以及文本分類/聚類/關(guān)聯(lián)算法、文本摘要抽取、情感分析和文本語義分析、文本挖掘等智能分析算法。50典型應(yīng)用場景——基于平臺的數(shù)據(jù)云服務(wù)（DaaS）

用戶行為綜合分析（網(wǎng)頁的語義、圖片、視頻內(nèi)容以及用戶的觀點、位置、時間關(guān)聯(lián)等，例如某用戶在淘寶上的購物，穿插了在其它網(wǎng)站上瀏覽、與朋友的聊天或者在微博上發(fā)表的言論）之后能較準(zhǔn)確地反應(yīng)個體用戶的興趣愛好、價值取向、活動范圍以及社會關(guān)系等等。用戶群分析可以挖掘出用戶群特征或者趨勢。電信運營商可將上述分析結(jié)果作為數(shù)據(jù)服務(wù)提供給企業(yè)、研究機(jī)構(gòu)等，或者針對用戶提供廣告推送。51DataasaService“NoSQL”NoSQL，指的是非關(guān)系型的數(shù)據(jù)庫，該術(shù)語在2009年初得到了廣泛認(rèn)同。應(yīng)用最多的是以“鍵-值”對存儲，結(jié)構(gòu)不固定，每一個元組可以有不一樣的字段，每個元組可以根據(jù)需要增加一些自己的鍵值對，這樣就不會局限于固定的結(jié)構(gòu)，可以減少一些時間和空間的開銷。其它類型的NoSQL還包括文檔型的、列存儲、圖型數(shù)據(jù)庫、xml數(shù)據(jù)庫等。52關(guān)系型數(shù)據(jù)庫存儲格式化的數(shù)據(jù)結(jié)構(gòu)(表)，每個元組字段的組成都一樣，數(shù)據(jù)庫會為每個元組分配所有的字段。結(jié)構(gòu)化便于表與表之間進(jìn)行連接等操作，但從另一個角度來說也是關(guān)系型數(shù)據(jù)庫性能瓶頸的一個因素。新的應(yīng)用需求帶來的問題互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，特別是超大規(guī)模和高并發(fā)的SNS(社會網(wǎng)絡(luò)服務(wù))類型的web2.0純動態(tài)網(wǎng)站傳統(tǒng)的關(guān)系數(shù)據(jù)庫已經(jīng)顯得力不從心，暴露了很多難以克服的問題。54新的應(yīng)用需求帶來的問題1、Highperformance-對數(shù)據(jù)庫高并發(fā)讀寫的需求

web2.0網(wǎng)站要根據(jù)用戶個性化信息來實時生成動態(tài)頁面和提供動態(tài)信息，所以基本上無法使用動態(tài)頁面靜態(tài)化技術(shù)，因此數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬次讀寫請求。關(guān)系數(shù)據(jù)庫即使可以應(yīng)付上萬次SQL查詢，但是對于上萬次SQL寫數(shù)據(jù)請求，硬盤IO則難以承受。新的應(yīng)用需求帶來的問題2、HugeStorage-對海量數(shù)據(jù)的高效率存儲和訪問的需求對于大型的SNS網(wǎng)站，每天用戶產(chǎn)生海量的用戶動態(tài)，例如Friendfeed一個月有2.5億條用戶動態(tài)。對于關(guān)系數(shù)據(jù)庫來說，在一張2.5億條記錄的表里面進(jìn)行SQL查詢，用戶可能無法接受其響應(yīng)時間。又例如大型web網(wǎng)站（例如騰訊、淘寶）的用戶登錄系統(tǒng)，也是動輒數(shù)以億計的帳號，也是對傳統(tǒng)關(guān)系數(shù)據(jù)庫的挑戰(zhàn)。56新的應(yīng)用需求帶來的問題3、HighScalability&&HighAvailability-對數(shù)據(jù)庫的高可擴(kuò)展性和高可用性的需求在基于web的架構(gòu)當(dāng)中