云計(jì)算和大數(shù)據(jù)現(xiàn)狀分析

大數(shù)據(jù)的探索與實(shí)踐

云計(jì)算和大數(shù)據(jù)現(xiàn)狀及趨勢(shì)分析目前一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)一、信息技術(shù)推動(dòng)中國(guó)高速發(fā)展二、云計(jì)算構(gòu)建新型信息基礎(chǔ)設(shè)施三、大數(shù)據(jù)將變革既有的數(shù)據(jù)觀提綱四、信息時(shí)代的高科技犯罪五、云計(jì)算大數(shù)據(jù)相關(guān)案例目前二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)一、信息技術(shù)推動(dòng)中國(guó)高速發(fā)展目前三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)信息技術(shù)加速中國(guó)發(fā)展

改革開放三十多年來，中國(guó)走過了美國(guó)等資本主義國(guó)家上百年才走完的發(fā)展道路，信息技術(shù)在國(guó)我的發(fā)展功不可沒。信息革命開創(chuàng)了以信息資源為關(guān)鍵資源的知識(shí)經(jīng)濟(jì)。第一個(gè)是信息處理和傳播方式的巨大進(jìn)步。第二個(gè)是先進(jìn)的信息處理和傳播方式的廣泛普及化應(yīng)用。第三個(gè)是由此對(duì)社會(huì)面貌、社會(huì)狀態(tài)、社會(huì)結(jié)構(gòu)和體制的全方位、綜合性和全息性的改造。

工業(yè)社會(huì)信息社會(huì)（知識(shí)社會(huì)）農(nóng)業(yè)社會(huì)

農(nóng)業(yè)革命實(shí)現(xiàn)了游牧經(jīng)濟(jì)到農(nóng)業(yè)經(jīng)濟(jì)的變革，農(nóng)業(yè)生產(chǎn)成為社會(huì)經(jīng)濟(jì)的主導(dǎo)因素；開創(chuàng)了5000多年以土地、牲畜、簡(jiǎn)單的勞動(dòng)工具為主要資源的農(nóng)業(yè)經(jīng)濟(jì)。

工業(yè)革命開創(chuàng)了300年以材料、能源和機(jī)器為主要資源的工業(yè)經(jīng)濟(jì)。工業(yè)經(jīng)濟(jì)時(shí)代的管理重點(diǎn)是生產(chǎn)，制造業(yè)是工業(yè)經(jīng)濟(jì)時(shí)代的主體產(chǎn)業(yè)，剛性的生產(chǎn)方式關(guān)注的是勞動(dòng)生產(chǎn)率的提升?；谛乱惠咺T創(chuàng)新變革和知識(shí)經(jīng)濟(jì)的深入發(fā)展，構(gòu)建城市發(fā)展的智慧環(huán)境，形成基于海量信息和智能過濾處理的新的生活、產(chǎn)業(yè)發(fā)展、社會(huì)管理等模式，面向未來構(gòu)建一種更新的城市形態(tài)。信息資源日益成為重要生產(chǎn)要素的表現(xiàn)目前四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)新技術(shù)，新機(jī)遇：?jiǎn)朓T產(chǎn)業(yè)誰(shuí)主沉??？你方唱罷我登場(chǎng)，問IT產(chǎn)業(yè)誰(shuí)出沉??？云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等不斷發(fā)展與融合，改變著中國(guó)人的生活、工作和學(xué)習(xí)方式。中國(guó)萬(wàn)億IT市場(chǎng)（2011年-2016年）目前五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)信息技術(shù)：潤(rùn)物細(xì)無(wú)聲信息技術(shù)特別是互聯(lián)網(wǎng)悄然變革了我們的生活方式、工作方式和思維方式加速了人才的培養(yǎng)和技術(shù)成熟的速度加強(qiáng)了中國(guó)社會(huì)的溝通和融合淘寶、京東改變了人們購(gòu)物的方式政府網(wǎng)上一站式服務(wù)大廳百度、搜狗等搜索引擎：有問題找百度12306改變了購(gòu)票難這一中國(guó)人的老大難問題手機(jī)已經(jīng)與我們的工作、生活密不可分4.5G、5G移動(dòng)互聯(lián)網(wǎng)，可能率先在中國(guó)實(shí)施中國(guó)在IT技術(shù)的某些方面正在趕超歐美強(qiáng)國(guó)目前六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)互聯(lián)網(wǎng)用戶增速迅猛引子1：中國(guó)各種信息系統(tǒng)，面臨著更多的用戶，我們的系統(tǒng)需要處理更多的數(shù)據(jù)。需要更強(qiáng)大的基礎(chǔ)設(shè)施能力，以及數(shù)據(jù)處理能力。目前七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)智能終端：一切應(yīng)用及服務(wù)的入口移動(dòng)互聯(lián)網(wǎng)在中國(guó)萬(wàn)億級(jí)別的IT市場(chǎng)中的比重及復(fù)合增長(zhǎng)率越來越大，成為IT產(chǎn)業(yè)新的金礦；得終端者得天下：小米、中華酷聯(lián)，一切應(yīng)用和服務(wù)的入口移動(dòng)互聯(lián)網(wǎng)改變世界：全天候在線移動(dòng)互聯(lián)網(wǎng)：使每個(gè)人隨時(shí)隨地任何終端模式接入互聯(lián)網(wǎng)，使每個(gè)人可以全天候工作、學(xué)習(xí)、購(gòu)物等。目前八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)中國(guó)IT產(chǎn)業(yè)：更豐富的內(nèi)容和服務(wù)基于大數(shù)據(jù)各種新型應(yīng)用將不斷出現(xiàn)云計(jì)算產(chǎn)品的不斷推出將推動(dòng)“云時(shí)代”的到來移動(dòng)互聯(lián)網(wǎng)用戶應(yīng)用入口競(jìng)爭(zhēng)將更加激烈目前九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)中國(guó)IT產(chǎn)業(yè)高速發(fā)展：天時(shí)、地利、人和帶寬高速增長(zhǎng)：從2G到3G再到4G，移動(dòng)互聯(lián)網(wǎng)帶寬有了1000倍的增長(zhǎng)。后臺(tái)支撐技術(shù)的進(jìn)步：云計(jì)算、大數(shù)據(jù)技術(shù)的進(jìn)步硬件設(shè)備迅速普及：手機(jī)、平板等智能移動(dòng)終端設(shè)備的價(jià)格不斷降低，用戶可速增長(zhǎng)。開放式平臺(tái)：開源硬件及開源軟件發(fā)展，打造一個(gè)開放式的產(chǎn)業(yè)鏈。新的終端技術(shù)的融入：GPS、體感技術(shù)、新型傳感器設(shè)備、可穿戴終端技術(shù)不斷發(fā)展目前十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云計(jì)算大數(shù)據(jù)電子商務(wù)電子政務(wù)移動(dòng)互聯(lián)網(wǎng)社交網(wǎng)絡(luò)中國(guó)IT產(chǎn)業(yè)：未來發(fā)展陣型應(yīng)用為導(dǎo)向大數(shù)據(jù)為業(yè)務(wù)引擎云計(jì)算為基礎(chǔ)支撐移動(dòng)互聯(lián)網(wǎng)為帶動(dòng)社交網(wǎng)絡(luò)為紐帶電子政務(wù)為引領(lǐng)電子商務(wù)為增長(zhǎng)點(diǎn)目前十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)二、云計(jì)算構(gòu)建新型信息基礎(chǔ)設(shè)施目前十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)什么是云計(jì)算：云的業(yè)務(wù)模式Gartner高級(jí)分析師BenPring評(píng)價(jià)道：“它正在成為一個(gè)大眾化的詞語(yǔ)?！钡牵瑔栴}是似乎每個(gè)人對(duì)于云計(jì)算的理解各不相同。作為一個(gè)對(duì)互聯(lián)網(wǎng)的比喻，“云”是很容易理解的。但是一旦同“計(jì)算”聯(lián)系起來，它的意義就擴(kuò)展了，而且開始變得模糊起來。有些分析師和公司把云計(jì)算僅僅定義為計(jì)算的升級(jí)版——基本上就是互聯(lián)網(wǎng)上提供的眾多虛擬服務(wù)器。另外一些人把云計(jì)算定義的更加寬泛，他們認(rèn)為用戶在防火墻保護(hù)之外消費(fèi)的任何事物都處于“云”之中。人云亦云眾說紛紜提交請(qǐng)求硬件軟件服務(wù)存儲(chǔ)網(wǎng)絡(luò)云用戶按需付費(fèi)服務(wù)目前十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)什么是云計(jì)算:業(yè)務(wù)模式同時(shí)滿足以上三個(gè)條件的是云計(jì)算1服務(wù)可租用：用戶所需資源不在客戶一端而在網(wǎng)絡(luò)2服務(wù)可計(jì)量：服務(wù)能力具有分鐘級(jí)或秒級(jí)的計(jì)量能力3高性價(jià)比：具有較之傳統(tǒng)模式5倍以上的性價(jià)比優(yōu)勢(shì)云計(jì)算目前十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云計(jì)算的定義與特征（12345）通過網(wǎng)絡(luò)接入彈性可擴(kuò)展的物理或虛擬資源池，并可以以按需、自服務(wù)的方式對(duì)資源進(jìn)行部署和管理的服務(wù)模式1個(gè)定義1：提供者以租代售，由賣產(chǎn)品變?yōu)橘u服務(wù)，提高資源利用率并降低服務(wù)成本2：使用者以租代買，提高投資回報(bào)率2個(gè)角色3種模式1：SAAS(軟件即服務(wù))2：PAAS（平臺(tái)即服務(wù)）3：IAAS（基礎(chǔ)設(shè)施即服務(wù)）1：私有云2：社區(qū)云3：公有云4：混合云4種部署1：寬帶網(wǎng)絡(luò)接入2：按需服務(wù)3：資源共享4：快速?gòu)椥詳U(kuò)展5：服務(wù)可度量5個(gè)特點(diǎn)什么是云計(jì)算：技術(shù)特性目前十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)虛擬化技術(shù)硬件虛擬化系統(tǒng)虛擬化應(yīng)用虛擬化并行運(yùn)算技術(shù)映射（Map)歸約（Reduce)云計(jì)算的4大支撐技術(shù)四大技術(shù)是拆分分布技術(shù)是合成一機(jī)變多機(jī)一算變多算一存變多存海量數(shù)據(jù)管理技術(shù)列族存貯主服務(wù)器子表服務(wù)器海量數(shù)據(jù)存貯技術(shù)元數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)一庫(kù)變多庫(kù)目前十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率目前十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率目前十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)1212IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率目前十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率214343目前二十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云的四大效能：對(duì)客戶的價(jià)值整體高效、資源共效按需分配、均衡統(tǒng)籌互聯(lián)互通數(shù)據(jù)統(tǒng)一目前二十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云最大的優(yōu)勢(shì)有效解決資源、信息孤島問題共享硬件資源：計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)統(tǒng)一管理業(yè)務(wù)、應(yīng)用、數(shù)據(jù)統(tǒng)一安全服務(wù)統(tǒng)一管理服務(wù)標(biāo)準(zhǔn)、規(guī)范、法規(guī)體系專網(wǎng)專網(wǎng)專網(wǎng)專網(wǎng)專網(wǎng)專網(wǎng)信息基礎(chǔ)網(wǎng)絡(luò)設(shè)施目前二十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)全球廣泛建立云數(shù)據(jù)中心目前二十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)世界領(lǐng)先IT公司服務(wù)器持有量名稱服務(wù)器數(shù)量備注谷歌（Google）100萬(wàn)臺(tái)2010年底依能耗推算數(shù)據(jù)為90萬(wàn)臺(tái)，總數(shù)約占全球的2%，Google2005年建成的一個(gè)單體數(shù)據(jù)中心的服務(wù)器數(shù)量就高達(dá)4.5萬(wàn)臺(tái)。估算當(dāng)前全球的服務(wù)器數(shù)量(30多個(gè)數(shù)據(jù)中心)數(shù)量應(yīng)在100萬(wàn)臺(tái)。亞馬遜45.4萬(wàn)臺(tái)據(jù)中國(guó)軟件網(wǎng)推測(cè)，這些服務(wù)器分布于全球7100個(gè)機(jī)架上，過去6個(gè)月每月新增110個(gè)機(jī)架惠普（HP/EDS）38萬(wàn)臺(tái)HP收購(gòu)的EDS運(yùn)營(yíng)著180個(gè)數(shù)據(jù)中心微軟30萬(wàn)臺(tái)2008年，微軟那時(shí)有21.8萬(wàn)臺(tái)服務(wù)器。微軟在芝加哥的新服務(wù)器農(nóng)場(chǎng)能容下30萬(wàn)臺(tái)服務(wù)器百度25臺(tái)據(jù)華為稱，百度服務(wù)器數(shù)量每年以10萬(wàn)臺(tái)以上的速度增長(zhǎng)，百度數(shù)據(jù)中心采用了華為S9300設(shè)備。從市場(chǎng)份額和業(yè)務(wù)量推算從2009年以來，百度服務(wù)器應(yīng)在40萬(wàn)臺(tái)。騰訊20萬(wàn)臺(tái)主要分布在深圳、上海、北京、天津、成都。其中騰訊天津數(shù)據(jù)中心，2009年初開建，投資5億美元，服務(wù)器托管能力超過10萬(wàn)臺(tái)。2011年開工建設(shè)的騰訊深汕云計(jì)算數(shù)據(jù)中心，總用地面積20萬(wàn)平方米，服務(wù)器20萬(wàn)臺(tái)，總投資額20億元人民幣。Facebook6萬(wàn)臺(tái)全球擁有8億用戶，在俄勒岡州普賴因維爾(Prineville)建造的新數(shù)據(jù)中心投資達(dá)2.1億美元，數(shù)據(jù)中心第一期工程已于2011年建設(shè)完成，建設(shè)面積為30萬(wàn)平方英尺目前二十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云計(jì)算產(chǎn)業(yè)市場(chǎng)前景據(jù)IDC估計(jì)和推算，從2009年底到2015年底，云計(jì)算能為全球帶來12,103億美元的新業(yè)務(wù)收入，為中國(guó)帶來超過20,483億人民幣（3,012億美元）的新凈業(yè)務(wù)收入服務(wù)的創(chuàng)新孵化作用預(yù)測(cè)，以廣東省為例，至2015年累計(jì)可研制孵化3000多個(gè)互聯(lián)網(wǎng)服務(wù)，只要其中千分之三的服務(wù)能夠達(dá)到騰訊的規(guī)模，就能產(chǎn)生千億元產(chǎn)值孵化數(shù)20112012201320142015當(dāng)年1002004008001600累計(jì)10030070015003100目前二十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)截止到2012年8月，國(guó)內(nèi)眾多省市、行業(yè)都規(guī)劃、啟動(dòng)、應(yīng)用了云計(jì)算服務(wù)。北京“祥云”計(jì)劃上海“云?！庇?jì)劃深圳“鯤云”計(jì)劃重慶“云端”計(jì)劃寧波“星云”計(jì)劃、無(wú)錫“云谷”計(jì)劃蘇州“彩云”計(jì)劃哈爾濱“云飛揚(yáng)”計(jì)劃惠州“惠云”計(jì)劃廣州“天云”計(jì)劃內(nèi)蒙古“藍(lán)天白云”計(jì)劃……云計(jì)算在中國(guó)目前二十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)中國(guó)的云要自己建

去IOE和八大金剛，及去開源IOE:IBMORACLEEMC2八大金剛：思科、IBM、谷歌、高通、英特爾、蘋果、甲骨文、微軟——美國(guó)的“八大金剛”在中國(guó)長(zhǎng)驅(qū)直入，占據(jù)政府、海關(guān)、郵政、金融、鐵路、民航、醫(yī)療、軍警等關(guān)鍵領(lǐng)域，它們與美國(guó)政府、軍隊(duì)保持著緊密的聯(lián)系，美國(guó)情報(bào)部門通過它們的設(shè)備、軟件、網(wǎng)絡(luò)獲取信息，也幾乎零門檻。開源云社區(qū)：Opensource\Openstack非常活躍，應(yīng)用也較為廣泛；檢查每一行代碼，每一類庫(kù)是不可能的任務(wù)；開源社區(qū)的掌握實(shí)際還是歐美產(chǎn)業(yè)界，并不完全是理想的騎士們；產(chǎn)品過度用開源，服務(wù)得不到保障，另也會(huì)被開源綁架；一些半開源真品也同樣混淆我們的視聽。美國(guó)的9家互聯(lián)網(wǎng)公司在棱鏡項(xiàng)目中暴露目前二十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云平臺(tái)的規(guī)劃：總體技術(shù)架構(gòu)

云平臺(tái)的建設(shè)依托于云計(jì)算技術(shù)，是新型的計(jì)算資源利用模式。它將計(jì)算任務(wù)分布在由數(shù)臺(tái)服務(wù)器構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲(chǔ)空間和信息服務(wù)。設(shè)計(jì)理念：安全是前提應(yīng)用是核心管控是關(guān)鍵利舊，擴(kuò)展性目前二十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云操作系統(tǒng)：整個(gè)云平臺(tái)的管理者氣象應(yīng)用位置應(yīng)用GIS應(yīng)用桌面云應(yīng)用…桌面云APP資源管理子系統(tǒng)云中間件層應(yīng)用層資源驅(qū)動(dòng)層Xen驅(qū)動(dòng)KVM驅(qū)動(dòng)VMware驅(qū)動(dòng)虛擬化驅(qū)動(dòng)集合LocalDisk驅(qū)動(dòng)NAS驅(qū)動(dòng)IP-SAN驅(qū)動(dòng)存儲(chǔ)驅(qū)動(dòng)集合FC-SAN驅(qū)動(dòng)分布式存儲(chǔ)驅(qū)動(dòng)Switch驅(qū)動(dòng)Firewall驅(qū)動(dòng)LB驅(qū)動(dòng)網(wǎng)絡(luò)與外設(shè)驅(qū)動(dòng)集合VPN驅(qū)動(dòng)監(jiān)控驅(qū)動(dòng)通訊適配層消息隊(duì)列消息格式轉(zhuǎn)換傳輸協(xié)議支持網(wǎng)絡(luò)通訊插件生命周期管理消息路由插件服務(wù)定義插件管理JavaC/C++Python...異構(gòu)語(yǔ)言適配其他設(shè)備OS硬件安全體系管理體系計(jì)算資源管理存儲(chǔ)資源管理網(wǎng)絡(luò)資源管理任務(wù)管理子系統(tǒng)任務(wù)過程管理任務(wù)計(jì)劃管理監(jiān)控管理子系統(tǒng)基本監(jiān)控信息管理定制監(jiān)控信息管理…策略管理子系統(tǒng)調(diào)度策略管理容錯(cuò)策略管理節(jié)能策略管理動(dòng)態(tài)遷移策略管理用戶管理子系統(tǒng)用戶管理授權(quán)管理分組管理OS管理集合單機(jī)OS管理存儲(chǔ)OS管理交換機(jī)OS管理防火墻OS管理硬件管理集合服務(wù)器兼容管理存儲(chǔ)設(shè)備兼容管理網(wǎng)絡(luò)設(shè)備兼容管理…負(fù)載均衡OS管理應(yīng)用安全集合應(yīng)用訪問控制應(yīng)用信息隱藏Web攻擊防護(hù)URL信息防護(hù)網(wǎng)絡(luò)安全集合網(wǎng)絡(luò)流量控制網(wǎng)絡(luò)流量分析網(wǎng)絡(luò)訪問控制虛擬私有云（VPC）OS層服務(wù)器單機(jī)OS插件管理子系統(tǒng)故障管理子系統(tǒng)接口層自助服務(wù)：管理員入口普通用戶入口API維護(hù)人員入口系統(tǒng)漏洞防護(hù)弱口令防破解用戶安全認(rèn)證行為審計(jì)系統(tǒng)系統(tǒng)安全集合自助申請(qǐng)與交付組織管理與業(yè)務(wù)流程審批資源編排目前二十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云操作系統(tǒng)：資源的全局監(jiān)控對(duì)云平臺(tái)的配置、優(yōu)化、管理的策略和經(jīng)驗(yàn)的積累目前三十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云實(shí)施：傳統(tǒng)電子政務(wù)建設(shè)面臨的問題

近年來，我國(guó)的電子政務(wù)建設(shè)迅猛發(fā)展，全國(guó)絕大部分地區(qū)都已經(jīng)建設(shè)了以電子政務(wù)基礎(chǔ)網(wǎng)絡(luò)平臺(tái)、政府門戶網(wǎng)站和辦公自動(dòng)化系統(tǒng)等為代表的一系列電子政務(wù)項(xiàng)目，國(guó)家電子政務(wù)總體框架已見雛形。但是，隨著電子政務(wù)建設(shè)的不斷推進(jìn)，許多矛盾和困難也隨之不斷涌現(xiàn)出來。

隨著政府信息化的逐步深入，電子政務(wù)云平臺(tái)的發(fā)展推動(dòng)了政務(wù)信息的互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同，強(qiáng)化了信息資源的整合，規(guī)范了采集和發(fā)布，加強(qiáng)了社會(huì)綜合開發(fā)利用。建設(shè)電子政務(wù)公共平臺(tái)是電子政務(wù)發(fā)展到深化應(yīng)用、突出實(shí)效階段的重要舉措。目前三十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云的定義及目標(biāo)電子政務(wù)云的定義

“電子政務(wù)云”（E-governmentcloud）是運(yùn)用云計(jì)算技術(shù)，統(tǒng)籌利用機(jī)房資源、計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源、信息資源、應(yīng)用支撐等資源和條件，發(fā)揮云計(jì)算虛擬化、高可靠性、通用性、高可擴(kuò)展性以及快速、按需、彈性的服務(wù)等特征，為區(qū)域政府單位用戶提供基礎(chǔ)設(shè)施、支撐軟件、應(yīng)用功能、信息資源、運(yùn)行保障和信息安全等多方面不同類型不同級(jí)別服務(wù)的電子政務(wù)綜合性服務(wù)平臺(tái)。電子政務(wù)云的目標(biāo)

電子政務(wù)云緊緊圍繞各級(jí)政務(wù)部門深化電子政務(wù)應(yīng)用、提高履行職責(zé)能力的迫切需要，為各部門實(shí)現(xiàn)政務(wù)、業(yè)務(wù)目標(biāo)提供公共的技術(shù)環(huán)境和服務(wù)支撐。滿足業(yè)務(wù)不斷發(fā)展和改革的需要。滿足跨地區(qū)、跨部門、跨層級(jí)信息共享，以及行業(yè)系統(tǒng)與地方應(yīng)用條塊結(jié)合的需要。滿足大量數(shù)據(jù)訪問、存儲(chǔ)和智能化處理的需要。滿足安全可靠運(yùn)行的需要。目前三十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云的價(jià)值推動(dòng)電子政務(wù)向科學(xué)發(fā)展方式轉(zhuǎn)變提高基礎(chǔ)設(shè)施資源利用率促進(jìn)互聯(lián)互通和信息共享提升電子政務(wù)信息安全保障能力四大價(jià)值

云計(jì)算具有超強(qiáng)的計(jì)算能力和低成本、高安全性等特性，將其應(yīng)用于電子政務(wù)領(lǐng)域具有十分重要的價(jià)值和意義。電子政務(wù)云的應(yīng)用價(jià)值主要包括以下幾方面：目前三十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云的總體部署架構(gòu)4朵云-省級(jí)電子政務(wù)云-民生服務(wù)云-業(yè)務(wù)專有云-市級(jí)電子政務(wù)云N+1+N容災(zāi)模式-N個(gè)市級(jí)政務(wù)云采用省級(jí)政務(wù)云平臺(tái)作為異地備份中心-省級(jí)政務(wù)云選擇1個(gè)市級(jí)政務(wù)云建設(shè)異地災(zāi)備中心-N個(gè)市級(jí)政務(wù)云的同城備份中心省-市兩級(jí)互補(bǔ)-省-地市：模板下發(fā)、資源調(diào)度、備份、數(shù)據(jù)共享交換；-政務(wù)云-業(yè)務(wù)專有云：數(shù)據(jù)共享交換-政務(wù)云-民生服務(wù)云：數(shù)據(jù)共享交換目前三十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云的總體邏輯架構(gòu)5層兩翼、3體系1門戶目前三十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云的主要建設(shè)內(nèi)容云平臺(tái)機(jī)房資源計(jì)算存儲(chǔ)網(wǎng)絡(luò)資源信息資源應(yīng)用支撐服務(wù)交付云安全安全保障范圍安全保障體系云災(zāi)備同城災(zāi)備中心異地災(zāi)備中心云遷移應(yīng)用部署應(yīng)用遷移云運(yùn)維安全保障管理應(yīng)急保障管理制度保障管理運(yùn)維保障管理建設(shè)內(nèi)容建設(shè)內(nèi)容五部分建設(shè)內(nèi)容:目前三十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)典型案例東莞市電子政務(wù)云平臺(tái)目前三十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)典型案例

東莞市電子政務(wù)云平臺(tái)的建設(shè)，在國(guó)內(nèi)首個(gè)采用自主安全可控的G-Cloud云操作系統(tǒng)，整合全市電子政務(wù)信息資源，創(chuàng)新服務(wù)交付模式，走集約、低碳、節(jié)能、高效建設(shè)之路，并取得了顯著的成效。目前，東莞市電子政務(wù)云平臺(tái)有效整合了132臺(tái)物理服務(wù)器、145TB存儲(chǔ)、100個(gè)虛擬網(wǎng)絡(luò)資源的統(tǒng)一監(jiān)控管理，承載近500個(gè)電子政務(wù)業(yè)務(wù)應(yīng)用，為東莞市32個(gè)鎮(zhèn)/區(qū)和近80個(gè)市屬單位的用戶提供統(tǒng)一的IT資源服務(wù)。通過該平臺(tái)的建設(shè)，一方面提高了基礎(chǔ)設(shè)施資源的利用率，每年節(jié)省電費(fèi)約80%，另一方面優(yōu)化了資源審批流程，將新上線業(yè)務(wù)應(yīng)用的部署周期從2天以上縮短至2個(gè)小時(shí)。目前三十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)東莞電子政務(wù)云總體網(wǎng)絡(luò)部署架構(gòu)目前三十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)一期網(wǎng)絡(luò)部署架構(gòu)

電子政務(wù)辦有兩個(gè)機(jī)房，分別為位于市政府的中心機(jī)房和位于大朗的災(zāi)備機(jī)房。四框刀片服務(wù)器中災(zāi)備機(jī)房部署一框刀片服務(wù)器作為備份節(jié)點(diǎn)，另三框刀片服務(wù)器和2個(gè)存儲(chǔ)設(shè)備都部署到中心機(jī)房。目前四十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)二期網(wǎng)絡(luò)部署架構(gòu)

二期G-cloud網(wǎng)絡(luò)主要包括DMZ區(qū)、服務(wù)器區(qū)、電子政務(wù)網(wǎng)、存儲(chǔ)網(wǎng)等四個(gè)部分。其中關(guān)鍵設(shè)備，如核心交換機(jī)、匯聚交換機(jī)等均采用冗余設(shè)計(jì)，用以保證網(wǎng)絡(luò)連接持續(xù)性和穩(wěn)定性。目前四十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)東莞電子政務(wù)云規(guī)模東莞市電子政務(wù)云規(guī)模目前四十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)東莞電子政務(wù)云應(yīng)用部署情況東莞電子政務(wù)云應(yīng)用部署情況

東莞市電子政務(wù)云平臺(tái)承載近500個(gè)電子政務(wù)業(yè)務(wù)應(yīng)用。政務(wù)為東莞市32個(gè)鎮(zhèn)/區(qū)和近80個(gè)市屬單位的用戶提供統(tǒng)一的IT資源服務(wù)。編號(hào)應(yīng)用分類VM數(shù)量1OA212門戶923數(shù)據(jù)庫(kù)754應(yīng)用系統(tǒng)2395郵件56運(yùn)維系統(tǒng)39目前四十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)電子政務(wù)云平臺(tái)案例序號(hào)客戶名稱投資/規(guī)?？蛻魞r(jià)值1東莞電子政務(wù)云一期投入1600萬(wàn)，管理600臺(tái)服務(wù)器資金投入降低30%，能耗降低50%，資源利用率提高50%，利舊率80%2廣州海珠區(qū)投入200萬(wàn)，管理100臺(tái)服務(wù)器降低管理成本50%，系統(tǒng)故障時(shí)間降低35%，利舊率90%3成都市政府采用BT模式建設(shè)，管理1000臺(tái)服務(wù)器管理人員減少40%，服務(wù)器當(dāng)機(jī)時(shí)間減少30%4北京市信息中心管理150臺(tái)服務(wù)器平臺(tái)網(wǎng)絡(luò)有效隔離，可評(píng)估安全風(fēng)險(xiǎn)減少50%5國(guó)家發(fā)改委一期投入500元，管理50臺(tái)服務(wù)器降低維護(hù)的復(fù)雜性，提高正常運(yùn)行時(shí)間30%6哈爾濱動(dòng)漫產(chǎn)業(yè)基地一期投入2000萬(wàn)元，管理2000臺(tái)服務(wù)器3D應(yīng)用移植成功率100%，有效支持動(dòng)漫基礎(chǔ)設(shè)施云化7海南生態(tài)軟件園一期投入1800萬(wàn)元，管理服務(wù)器150臺(tái)提供完全的虛擬化解決方案，支持園區(qū)企業(yè)500家目前四十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)用戶：東莞市中小學(xué)、學(xué)生、家長(zhǎng)；產(chǎn)品&服務(wù)：G-Cloud云操作系統(tǒng)、教育云在線平臺(tái)、國(guó)云中間件服務(wù)東莞200萬(wàn)學(xué)生，10萬(wàn)教師可靠和安全的數(shù)據(jù)存儲(chǔ)中心，降低成本3.4億元按需提供信息化建設(shè)定制方案；提供可定制的網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)；提供移動(dòng)辦公、學(xué)習(xí)的支持。典型案例：教育云目前四十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)教育云平臺(tái)序號(hào)客戶名稱投資/規(guī)模客戶價(jià)值1東莞教育云平臺(tái)一期投入1994萬(wàn)，租用中科院IDC數(shù)據(jù)中心全國(guó)第一個(gè)城市級(jí)教育云平臺(tái)，支持100萬(wàn)用戶，10萬(wàn)人在線，2萬(wàn)人并發(fā)2廣東粵教育云平臺(tái)總體投入4000萬(wàn)提供開放的接入平臺(tái)，提供可用資源2PB，實(shí)現(xiàn)省市教育云的資源平臺(tái)對(duì)接3貴州省教育資源云平臺(tái)采用BT模式建設(shè)，管理服務(wù)器500臺(tái)，存儲(chǔ)10PB提供班班通資源支持平臺(tái)，支持學(xué)校676所，實(shí)現(xiàn)教育部資源班班通的建設(shè)目標(biāo)。4畢節(jié)市扶貧教育云平臺(tái)總體擬投入1.2億提供整體解決方案，包括數(shù)據(jù)中心及三通兩平臺(tái)解決方案5山東世紀(jì)金榜電子出版內(nèi)容平臺(tái)一期投入5000萬(wàn)元，管理200臺(tái)服務(wù)器，20PB資源世紀(jì)金榜是中國(guó)最大的教輔材料提供商，平臺(tái)支持500萬(wàn)用戶，50萬(wàn)在線，5萬(wàn)人并發(fā)訪問。目前四十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云計(jì)算國(guó)防應(yīng)用：軍民融合云計(jì)算平臺(tái)軍民融合云計(jì)算平臺(tái)資源聚合技術(shù)資源協(xié)同技術(shù)

軍民信息化基礎(chǔ)設(shè)施的安全對(duì)接機(jī)制

軍民信息化基礎(chǔ)設(shè)施的安全隔離方法安全環(huán)境下信息化基礎(chǔ)設(shè)施的動(dòng)員和征用體系軍用數(shù)據(jù)中心信息化基礎(chǔ)設(shè)施民用數(shù)據(jù)中心目前四十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

智慧城市規(guī)劃“一張網(wǎng)”、“一張圖”、“一片云”、“一套庫(kù)”、“一張表”5個(gè)統(tǒng)一的信息化建設(shè)，提升城市基礎(chǔ)設(shè)施的集約化、系統(tǒng)化和承載能力；以互聯(lián)互通和共享協(xié)同為主線，建設(shè)智慧城市。云數(shù)據(jù)中心運(yùn)營(yíng)商數(shù)據(jù)中心全市網(wǎng)絡(luò)基礎(chǔ)設(shè)施（一張網(wǎng)）中國(guó)自主架構(gòu)云計(jì)算平臺(tái)（一片云）全市統(tǒng)一地理信息系統(tǒng)（一張圖）全市統(tǒng)一基礎(chǔ)信息數(shù)據(jù)庫(kù)（一套庫(kù)）全市統(tǒng)一聯(lián)合審批（一張表）公共服務(wù)社會(huì)管理經(jīng)濟(jì)調(diào)節(jié)政務(wù)管理市場(chǎng)監(jiān)督百姓服務(wù)產(chǎn)業(yè)發(fā)展“七”大應(yīng)用版塊是核心、“五”個(gè)基礎(chǔ)是關(guān)鍵、“三”個(gè)標(biāo)準(zhǔn)是支撐基于云計(jì)算的智慧城市建設(shè)框架目前四十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)三、大數(shù)據(jù)將變革既有的數(shù)據(jù)觀目前四十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)我們來到大數(shù)據(jù)時(shí)代數(shù)據(jù)極簡(jiǎn)主義大數(shù)據(jù)：一切數(shù)據(jù)皆有用數(shù)據(jù)觀、技術(shù)、成本的變化（硬件、軟件和除理技術(shù)、來源）目前五十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)全球每秒鐘發(fā)送2.9百萬(wàn)封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5年…每天會(huì)有

2.88萬(wàn)個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬(wàn)條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬(wàn)筆訂單…每個(gè)月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…人們從信息的被動(dòng)接受者變成了主動(dòng)創(chuàng)造者我們來到大數(shù)據(jù)時(shí)代目前五十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)GBTBPBEBZB大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB

（拍字節(jié)）

=2^50字節(jié)1EB

（艾字節(jié)）

=2^60字節(jié)1ZB（澤字節(jié)）=2^70字節(jié)目前五十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)20世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)之父的BillInmon就經(jīng)常提及BigData2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld2011會(huì)議中，EMC拋出了BigData概念什么是大數(shù)據(jù)：BigData名詞由來目前五十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)什么是大數(shù)據(jù)（NO-SQL,NotOnlySQL)

不同“看”數(shù)據(jù)的方式54可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%DB/DW主管們看的戰(zhàn)情數(shù)位儀表板，其實(shí)是殘缺的…目前五十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

什么是大數(shù)據(jù)：不同的數(shù)據(jù)管理對(duì)象當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺：架構(gòu)只能scale-up，

scale-out不易處理時(shí)間過長(zhǎng)，

time-to-value受限成本過高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺目前五十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型數(shù)據(jù)

增長(zhǎng)如此之塊，以至于難以使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具來駕馭，困難在于數(shù)據(jù)的獲取、存貯、搜索、共享、分析和可視化等方面大數(shù)據(jù)的定義數(shù)據(jù)量復(fù)雜性：種類和速度銷量庫(kù)存薪酬表客戶信息合約ERP/CRMWEB2.0廣告博客搜索營(yíng)銷文本/圖像網(wǎng)絡(luò)日志大數(shù)據(jù)社會(huì)情緒音頻/視頻傳感器RFID維基/博客微博金融信息個(gè)人數(shù)據(jù)位置信息政府信息氣象數(shù)據(jù)保險(xiǎn)信息EBPBTBGB維基的大數(shù)據(jù)定義

任何超過一臺(tái)計(jì)算機(jī)處理能力的龐大數(shù)據(jù)量亞馬遜的大數(shù)據(jù)定義

大數(shù)據(jù)是由局部數(shù)據(jù)匯聚而成能反映出整體的數(shù)據(jù)，整體的數(shù)據(jù)又隨時(shí)空在不斷膨脹。Informatica的大數(shù)據(jù)定義

大數(shù)據(jù)=交易數(shù)據(jù)+互動(dòng)數(shù)據(jù)+觀測(cè)數(shù)據(jù)中國(guó)電信的大數(shù)據(jù)定義中心的大數(shù)據(jù)定義目前五十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

如果自然界中的事件完全不可預(yù)測(cè)地隨機(jī)發(fā)生，人們的生活將無(wú)法忍受；與此相反，如果每一件事情都是確定的、完全可以預(yù)測(cè)的，則生活將是無(wú)趣的。利用因果關(guān)系解釋觀測(cè)的現(xiàn)象或預(yù)測(cè)未來存在邏輯和實(shí)際上的困難。大數(shù)據(jù)的理性認(rèn)知[美]C.R勞

與傳統(tǒng)比較，大數(shù)據(jù)的分析處理的核心是預(yù)測(cè)和推斷，根本的變革在于不刻意追求因果關(guān)系，而更多關(guān)注相關(guān)關(guān)系。也就是說，只要知道和什么有關(guān)，而不必強(qiáng)求為什么有關(guān)。[英]舍恩伯格

大數(shù)據(jù)時(shí)代來臨，使人類第一次有機(jī)會(huì)和條件在非常多和非常深入的層次獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，簡(jiǎn)而言之就是樣本=總體。[英]舍恩伯格

大數(shù)據(jù)為政府統(tǒng)計(jì)提供了總體性、非結(jié)構(gòu)化、豐富真實(shí)的原始資料，可以極大地縮短數(shù)據(jù)采集時(shí)間，減少報(bào)表填報(bào)任務(wù)，減輕調(diào)查對(duì)象負(fù)擔(dān)，提高統(tǒng)計(jì)數(shù)據(jù)質(zhì)量。國(guó)家統(tǒng)計(jì)局馬建堂大數(shù)據(jù)，也叫全局?jǐn)?shù)據(jù)、總體數(shù)據(jù)，數(shù)據(jù)量越大其預(yù)測(cè)和推斷的準(zhǔn)確性越高目前五十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)1.Volume2.

Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)：4V特性數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量目前五十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

大數(shù)據(jù)要上升為國(guó)家戰(zhàn)略國(guó)家時(shí)間政策備注美國(guó)2012-3-29《大數(shù)據(jù)研究與發(fā)展計(jì)劃》推動(dòng)政府開放、提升政策預(yù)見性（糧食、天氣、流感等）、提高政府服務(wù)水平、降底運(yùn)營(yíng)開支英國(guó)2010-5數(shù)據(jù)權(quán)、我的數(shù)據(jù)日本2012-5ICT戰(zhàn)略中國(guó)2012-5互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)創(chuàng)新研究目前五十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)不僅僅是數(shù)據(jù)“大”多大？PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性、全面性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值軟件是大數(shù)據(jù)的引擎目前六十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫(kù)的區(qū)別大數(shù)據(jù)是在傳統(tǒng)數(shù)據(jù)庫(kù)學(xué)科的分支——數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的基礎(chǔ)上進(jìn)一步發(fā)展起來的。但有兩點(diǎn)比較主要的不同：結(jié)構(gòu)化程度：傳統(tǒng)數(shù)據(jù)庫(kù)保存的是結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，以二維表或者標(biāo)準(zhǔn)XML文件的方式存儲(chǔ)數(shù)據(jù)，由于結(jié)構(gòu)清晰，處理相對(duì)容易；大數(shù)據(jù)面向的是一切計(jì)算機(jī)可以存儲(chǔ)的數(shù)據(jù)格式，包括互聯(lián)網(wǎng)上的各種網(wǎng)頁(yè)、圖片、音頻、視頻，包括辦公文檔、報(bào)表，包括人們?cè)谒阉饕嬷休斎氲年P(guān)鍵詞、在社交網(wǎng)絡(luò)中的留言、喜好，也包括各種傳感器自動(dòng)收集的監(jiān)控結(jié)果等等，顯然不同的格式處理起來更加困難。噪聲（異常）數(shù)據(jù)的處理：傳統(tǒng)數(shù)據(jù)庫(kù)通常把異常數(shù)據(jù)先剔除，應(yīng)用在需要高精確度的領(lǐng)域，如銀行對(duì)每個(gè)賬戶的管理；大數(shù)據(jù)則允許異常數(shù)據(jù)存在，更多應(yīng)用在預(yù)測(cè)方面，找出大量數(shù)據(jù)中隱藏的關(guān)聯(lián)關(guān)系，少量異常數(shù)據(jù)不會(huì)對(duì)總體結(jié)果產(chǎn)生影響。目前六十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)應(yīng)用運(yùn)行在云平臺(tái)之上如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏；云計(jì)算就是挖掘和利用寶藏的利器！沒有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)的存儲(chǔ)和積淀，云計(jì)算也只能是殺雞用的宰牛刀！目前六十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)市場(chǎng)分析12011年-2016年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模2各行業(yè)大數(shù)據(jù)市場(chǎng)規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間非?？捎^。2011年是中國(guó)大數(shù)據(jù)市場(chǎng)元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場(chǎng)的飛速發(fā)展。2012年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到4.7億元，2013年大數(shù)據(jù)市場(chǎng)將迎來增速為138.3%的飛躍，到2016年，整個(gè)市場(chǎng)規(guī)模逼近百億。目前六十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)國(guó)際企業(yè)角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專注于使組織更有效地使用他們從不同來源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁(yè)上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫(kù)軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o(wú)論在流量、種類、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉(cāng)庫(kù)中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過去四年中，IBM已經(jīng)投入超過120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫(kù)分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬(wàn)美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門開發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftware目前六十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值鏈數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)的公司。海量的數(shù)據(jù)就是財(cái)富，可以考慮自己分析或者賣數(shù)據(jù)給其他公司。技術(shù)技術(shù)供應(yīng)商或者分析公司。掌握了從海量數(shù)據(jù)中分析出有用信息的技能或者工具，但本身不一定擁有數(shù)據(jù)。思維有創(chuàng)新思維的人或者公司。他們對(duì)大數(shù)據(jù)敏感，有怎樣挖掘數(shù)據(jù)的新價(jià)值的獨(dú)特想法。目前六十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)分析技術(shù)：數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲(chǔ)；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等大數(shù)據(jù)技術(shù)體系：取、存、管、用存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘目前六十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)核心技術(shù)需求高并發(fā)讀寫大數(shù)據(jù)核心技術(shù)需求高效率存儲(chǔ)和訪問高可擴(kuò)展性和高可用性低成本建設(shè)運(yùn)維保證一致性的開銷過大，難以實(shí)現(xiàn)高并發(fā)存儲(chǔ)性能受限于控制器，性能難以保證關(guān)系型表單存儲(chǔ)難以適應(yīng)不同數(shù)據(jù)類型上億行數(shù)據(jù)的超級(jí)達(dá)標(biāo)效率極低傳統(tǒng)基于盤陣的存儲(chǔ)設(shè)備，造價(jià)昂貴，且市場(chǎng)壟斷嚴(yán)重，建設(shè)成本居高不下，擴(kuò)容成本尤其高許可和維護(hù)花費(fèi)高昂無(wú)法簡(jiǎn)單的通過添加服務(wù)節(jié)點(diǎn)來擴(kuò)展數(shù)據(jù)容量和負(fù)載能力，難以進(jìn)行橫向擴(kuò)展數(shù)據(jù)庫(kù)升級(jí)需要停機(jī)維護(hù)和數(shù)據(jù)遷移，導(dǎo)致服務(wù)中斷不保證遵循ACID原則，提高并發(fā)讀寫性能

Schema-Free存儲(chǔ)適應(yīng)不同數(shù)據(jù)類型舍棄SQL標(biāo)準(zhǔn)功能，盡量簡(jiǎn)化數(shù)據(jù)操作，提升效率MapReduce實(shí)現(xiàn)高效訪問基于X86設(shè)備，價(jià)格低廉開源系統(tǒng)，節(jié)省許可費(fèi)用支持水平擴(kuò)展，可簡(jiǎn)單的通過添加服務(wù)節(jié)點(diǎn)來擴(kuò)展數(shù)據(jù)容量和負(fù)載能力數(shù)據(jù)庫(kù)升級(jí)不影響服務(wù)持續(xù)目前六十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)的分析模型研究對(duì)象由組織、用戶、大數(shù)據(jù)和工具構(gòu)成的運(yùn)行系統(tǒng)研究?jī)?nèi)容大數(shù)據(jù)的構(gòu)成

大數(shù)據(jù)的行為大數(shù)據(jù)的行為和數(shù)據(jù)的組織研究方法知識(shí)工程解構(gòu)大數(shù)據(jù)系統(tǒng)研發(fā)工程支撐大數(shù)據(jù)系統(tǒng)價(jià)值工程牽引大數(shù)據(jù)系統(tǒng)研究目標(biāo)大數(shù)據(jù)生產(chǎn)平臺(tái)大數(shù)據(jù)開發(fā)平臺(tái)大數(shù)據(jù)采集平臺(tái)大數(shù)據(jù)應(yīng)用平臺(tái)研究重點(diǎn)數(shù)據(jù)分而治之資源組織調(diào)度邏輯復(fù)制遷移組織大數(shù)據(jù)用戶工具知識(shí)工程研發(fā)工程價(jià)值工程社會(huì)價(jià)值結(jié)構(gòu)功能信源信宿信道控制狀態(tài)協(xié)同生產(chǎn)采集存儲(chǔ)應(yīng)用傳遞展現(xiàn)概念定議劃分經(jīng)濟(jì)價(jià)值科技價(jià)值商業(yè)價(jià)值為什么是什么怎么做目前六十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)變革既有數(shù)據(jù)觀：以變革始大數(shù)據(jù)將變革人們認(rèn)世界的模式，最重要的是建模分析的方式；由選擇抽樣到全樣本（all-sample)，“樣本=總體”；大數(shù)據(jù)更重視相關(guān)關(guān)系，而不去過于追求因果關(guān)系；即使從前的建模也一樣是模擬，無(wú)法解決因果；大數(shù)據(jù)將徹底改變IT公司的構(gòu)成,擁有數(shù)據(jù)、技術(shù)與思維的公司將三足鼎立，但最終擁有數(shù)據(jù)的公司將最有價(jià)值。大數(shù)據(jù)改變政府和企業(yè)對(duì)待數(shù)據(jù)的觀念，真正認(rèn)識(shí)到數(shù)據(jù)的重要性政務(wù)的大數(shù)據(jù)需求：原有異構(gòu)數(shù)據(jù)的整理收集以及未來的應(yīng)用創(chuàng)新目前六十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)是組織的一種資產(chǎn)

數(shù)據(jù)資源已經(jīng)是上升為國(guó)家的戰(zhàn)略資源。人類已進(jìn)入“后信息經(jīng)濟(jì)時(shí)代”，即智慧經(jīng)濟(jì)。

智慧經(jīng)濟(jì)是一種創(chuàng)新形態(tài)的萌生經(jīng)濟(jì)，能實(shí)現(xiàn)經(jīng)濟(jì)與環(huán)境、能源、社會(huì)最大限度的可持續(xù)發(fā)展。

大數(shù)據(jù)是智慧經(jīng)濟(jì)的基礎(chǔ)。從哪里來、當(dāng)前在哪里、要到哪里去大數(shù)據(jù)是一種資產(chǎn)目前七十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

三個(gè)小故事：智者善用數(shù)據(jù)和工具

孟德爾碗豆雜交實(shí)驗(yàn)，基于數(shù)十年實(shí)驗(yàn)數(shù)據(jù)，經(jīng)過采集、分析、歸納、推導(dǎo)、預(yù)測(cè)找到其規(guī)律。（一）使用數(shù)據(jù)

曹沖稱象，大而劃之、分而治之。秤是分析，算盤是匯總。（二）處理數(shù)據(jù)

平民傳奇，分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)系統(tǒng)，解決對(duì)象的切分與存貯；MR編程模式解決分析與歸納。（三）構(gòu)建系統(tǒng)目前七十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)處理行為技術(shù)特征數(shù)據(jù)無(wú)限分而治之功能有限復(fù)制分發(fā)目前七十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

大數(shù)據(jù)系統(tǒng)的定義

是一個(gè)以人為主導(dǎo)，利用計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他辦公設(shè)備，進(jìn)行信息的收集、傳輸、加工、儲(chǔ)存、更新、拓展和維護(hù)的系統(tǒng)

是一個(gè)將各類信息系統(tǒng)產(chǎn)生的數(shù)據(jù)作為存貯、分析和利用的信息系統(tǒng)，通過借助計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他設(shè)備，實(shí)現(xiàn)對(duì)數(shù)據(jù)的收集、存貯、處理、傳遞、備份的系統(tǒng)。管理信息系統(tǒng)大數(shù)據(jù)系統(tǒng)目前七十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)設(shè)計(jì)目標(biāo)1可以存貯海量數(shù)2可以進(jìn)行高速處理3可以快速開發(fā)出并行服務(wù)4可以搭建在廉價(jià)的機(jī)群上目前七十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)數(shù)據(jù)應(yīng)用層外部系統(tǒng)層數(shù)據(jù)計(jì)算層[數(shù)據(jù)節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]綜合管控層信息安全保障體系標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)分析層

[定制計(jì)算子系統(tǒng)][數(shù)據(jù)分析子系統(tǒng)][數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)][數(shù)據(jù)域節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]名稱節(jié)點(diǎn)子系統(tǒng)作業(yè)節(jié)點(diǎn)子系統(tǒng)數(shù)據(jù)庫(kù)主節(jié)點(diǎn)子系統(tǒng)統(tǒng)一協(xié)同節(jié)點(diǎn)子系統(tǒng)備份節(jié)點(diǎn)子系統(tǒng)

[數(shù)據(jù)調(diào)用子系統(tǒng)][數(shù)據(jù)呈現(xiàn)子系統(tǒng)][數(shù)據(jù)采集子系統(tǒng)][ERP系統(tǒng)][電子商務(wù)網(wǎng)站][……]目前七十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)庫(kù)系統(tǒng)界面產(chǎn)品研發(fā)成果：云數(shù)據(jù)庫(kù)虛擬化平臺(tái)截圖：目前七十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

與現(xiàn)有系統(tǒng)的關(guān)系現(xiàn)有系統(tǒng)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)輸入分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出現(xiàn)有系統(tǒng)調(diào)用大數(shù)據(jù)系統(tǒng)分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出目前七十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)HADOOP目前七十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)MaHout目前七十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)主流大數(shù)據(jù)庫(kù)使用現(xiàn)狀目前八十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)系統(tǒng)體系建設(shè)規(guī)劃搭平臺(tái)采數(shù)據(jù)建模型編代碼圖呈現(xiàn)第一階段一次建逐步擴(kuò)可查詢簡(jiǎn)應(yīng)用巧婦有米可炊第二階段重復(fù)迭代持續(xù)可分析深入用巧婦百變花樣目前八十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

搭平臺(tái)-系統(tǒng)布署規(guī)劃類型名稱配置IP安裝內(nèi)容備注分布式應(yīng)用MR-PIG主頻為2.4Ghz以上內(nèi)存：16G硬盤：500G192.168.4.1MR系統(tǒng)和Pig系統(tǒng)兩個(gè)系統(tǒng)裝在一臺(tái)機(jī)上Hive-Chukwa192.168.4.2Hive系統(tǒng)和Chukwa系統(tǒng)兩個(gè)系統(tǒng)裝在一臺(tái)機(jī)上mysql192.168.4.3mysql數(shù)據(jù)庫(kù)系統(tǒng)存放hive和chukwa的元數(shù)據(jù)信息HDFS集群主節(jié)點(diǎn)NameNode192.168.1.1Hdfs系統(tǒng)JobTracker-Second192.168.1.2同時(shí)作為secondNmaenodeHDFS集群從節(jié)點(diǎn)DataNode1192.168.1.3DataNode2192.168.1.4DataNode3192.168.1.5Hbase集群主節(jié)點(diǎn)Hmaster192.168.2.1Hbase系統(tǒng)Hbase集群從節(jié)點(diǎn)HregionServer192.168.2.2ZooKeeper集群ZooKeeper192.168.3.1ZooKeeper系統(tǒng)目前八十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

采數(shù)據(jù)-數(shù)據(jù)采集模型目前八十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

建模型-建立四大模型目前八十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

建模型-建模所需基礎(chǔ)知識(shí)概率論隨機(jī)變量數(shù)字特征參數(shù)估計(jì)假設(shè)檢驗(yàn)?zāi)壳鞍耸屙?yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

建模型-十大精典算法目前八十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

建模型-算法的典型應(yīng)用關(guān)聯(lián)規(guī)則目前八十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

建模型-算法的典型應(yīng)用決策樹目前八十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

編代碼-開發(fā)環(huán)境的安裝目前八十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)圖呈現(xiàn)：

圖形設(shè)計(jì)技術(shù)數(shù)據(jù)描述視覺編碼：大小、顏色、紋理、形狀；線段、圖表、樹；聽覺編碼：聲音、語(yǔ)言數(shù)據(jù)表示

在時(shí)空局限下采用滾動(dòng)、變形、抑制、縮放、快速序列來展現(xiàn)數(shù)據(jù)。交互

連續(xù)、漸進(jìn)、被動(dòng)、混合多種交互方式，大數(shù)據(jù)展現(xiàn)技術(shù)總結(jié)：數(shù)據(jù)呈現(xiàn)技術(shù)是大數(shù)據(jù)能否讓智慧經(jīng)濟(jì)走進(jìn)尋常百姓家的最后一公里，利用信息可視可聽使大數(shù)據(jù)的有價(jià)信息以可感性認(rèn)知的方式呈現(xiàn)出來至關(guān)重要。目前九十頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

圖呈現(xiàn)：

一圖勝千言目前九十一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

圖呈現(xiàn)-圖形開發(fā)工具DataWrangler斯坦福大學(xué)可視化組（SUVG）設(shè)計(jì)的基于web的服務(wù)的圖形化工具計(jì)算量大GoogleRefine用戶在電腦上運(yùn)行這個(gè)應(yīng)用程序后就可以通過瀏覽器訪問之GoogleFusionTablesarietyGoogleFusionTables的處理大數(shù)據(jù)量的強(qiáng)大能力，以及能夠自由添加不同的空間視圖的功能JavaScriptInfoVisToolkitQuantumGISOpenHeatMapTimeFlow目前九十二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)輿情系統(tǒng)：大數(shù)據(jù)應(yīng)用全文檢索軟件文本挖掘軟件輿情分析軟件突發(fā)事件專題追蹤與分析軟件輿情簡(jiǎn)報(bào)自動(dòng)生成軟件六大主要技術(shù)組件目前九十三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)94輿情監(jiān)控社會(huì)傳感網(wǎng)絡(luò)

輿情系統(tǒng)：數(shù)據(jù)采集模式一級(jí)社會(huì)傳感網(wǎng)絡(luò)：活躍的敏感網(wǎng)站，實(shí)時(shí)監(jiān)控二級(jí)社會(huì)傳感網(wǎng)絡(luò)：包含有害信息站點(diǎn)，定時(shí)掃描三級(jí)社會(huì)傳感網(wǎng)絡(luò)：一般性網(wǎng)站，關(guān)鍵詞定期巡查目前九十四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)95輿情系統(tǒng)：突發(fā)事件分析目前九十五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)關(guān)鍵詞配置文本篇章配置站點(diǎn)頻道配置數(shù)據(jù)實(shí)時(shí)處理與匯總在線分析與計(jì)算事件趨勢(shì)分析輿情分析社會(huì)網(wǎng)絡(luò)分析蒙牛事件涉及組織社會(huì)網(wǎng)絡(luò)分析蒙牛事件人物關(guān)系網(wǎng)絡(luò)演化傳播影響分析蒙牛事件

輿情系統(tǒng)：結(jié)果展示目前九十六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)時(shí)空大數(shù)據(jù)聚合應(yīng)用案例廣西科技投入分析（聚類分析）-項(xiàng)目投入、民族投入、企業(yè)投入-數(shù)據(jù)地圖、柱狀圖、趨勢(shì)圖-多維度統(tǒng)計(jì)、多方式展示目前九十七頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)支撐行為分析案例教育云平臺(tái)分析（行為分析）-學(xué)校分布圖-登錄用戶統(tǒng)計(jì)-活躍用戶統(tǒng)計(jì)-操作統(tǒng)計(jì)目前九十八頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)

實(shí)時(shí)大數(shù)據(jù)案例清華公共安全研究院實(shí)時(shí)交通應(yīng)用-交通路況查詢-車輛行駛模擬目前九十九頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)異構(gòu)政府信息系統(tǒng)集成應(yīng)用案例企業(yè)征信平臺(tái)應(yīng)用-企業(yè)源數(shù)據(jù)-企業(yè)數(shù)據(jù)集成視圖-企業(yè)數(shù)據(jù)量化目前一百頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)跨系統(tǒng)數(shù)據(jù)異常比對(duì)港區(qū)公眾服務(wù)應(yīng)用截圖，數(shù)據(jù)聯(lián)合檢查大數(shù)據(jù)庫(kù)產(chǎn)品應(yīng)用目前一百零一頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)精典案例2009年，甲型H1N1流感在全球爆發(fā)傳播，為了發(fā)現(xiàn)和控制疫情，各國(guó)政府和衛(wèi)生相關(guān)部門付出了巨大努力，但得到的數(shù)據(jù)仍然滯后一兩周，而Google對(duì)人們的搜索的歷史記錄進(jìn)行處理，建立合理的數(shù)學(xué)模型后，得到的預(yù)測(cè)結(jié)果與官方的數(shù)據(jù)相關(guān)性高達(dá)97%，能夠立刻判斷出流感是從哪里傳播出來的，沒有一兩周的滯后。Google處理了5000萬(wàn)條歷史記錄、4.5億個(gè)不同的數(shù)學(xué)模型。目前一百零二頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)精典案例

目前一百零三頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)精典案例目前一百零四頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)Cloudera正在與西奈山醫(yī)學(xué)院合作開發(fā)新的生物數(shù)據(jù)分析方法和系統(tǒng)。Cloudera還與FDA合作偵測(cè)多種藥物組合的副作用，與埃默里大學(xué)合作幫助病歷學(xué)家更準(zhǔn)確地分析醫(yī)療影像。Cloudera的客戶之一——Explorys的業(yè)務(wù)主要是聚合并分析醫(yī)療記錄，而英特爾和NextBio則合作使用Hadoop處理基因數(shù)據(jù)。Apixio利用Hadoop平臺(tái)開發(fā)了語(yǔ)義分析服務(wù)，可以對(duì)病人的健康提供醫(yī)生、護(hù)士、及其他相關(guān)人士的回答。Apixio試圖通過對(duì)醫(yī)療記錄進(jìn)行先進(jìn)的技術(shù)分析，與一個(gè)簡(jiǎn)單的基于云計(jì)算的搜索引擎來幫助醫(yī)生迅速了解病人相關(guān)病史，挽救生命。大數(shù)據(jù)精典案例目前一百零五頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)精典案例馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危機(jī)“2008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６?，買家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購(gòu)買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一?！洞髷?shù)據(jù)時(shí)代》目前一百零六頁(yè)\總數(shù)一百一十八頁(yè)\編于十一點(diǎn)大數(shù)據(jù)應(yīng)用行業(yè)分析應(yīng)用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應(yīng)用特點(diǎn)與大數(shù)據(jù)特性的契合程度；橫軸應(yīng)用可能性：表示該用戶出于主客觀因