ArcGIS10.2大數(shù)據(jù)解決方案

ArcGIS10.2大數(shù)據(jù)解決方案介紹產(chǎn)品研究與技術(shù)推廣部伏偉偉什么是大數(shù)據(jù)ArcGIS10.2大數(shù)據(jù)解決方案空間大數(shù)據(jù)存儲(chǔ)空間大數(shù)據(jù)挖掘分析應(yīng)用場景探討目錄什么是大數(shù)據(jù)2011.5：EMCWorld2011大會(huì)拋出“大數(shù)據(jù)”概念。2011.6：IDC發(fā)布《從混沌中提取價(jià)值》，文中提到三點(diǎn)重要論斷：根據(jù)IDC過去五年的研究發(fā)現(xiàn)，全球數(shù)據(jù)量大約每兩年翻一番；2010年，全球數(shù)據(jù)量跨入ZB時(shí)代，預(yù)計(jì)2011年全球數(shù)據(jù)量將達(dá)到1.8ZB；未來全球數(shù)據(jù)增速將會(huì)維持，預(yù)計(jì)到2020年全球數(shù)據(jù)量將達(dá)到令人恐怖的35ZB。2011.6：IBM、麥肯錫等機(jī)構(gòu)跟進(jìn)發(fā)布“大數(shù)據(jù)”相關(guān)研究報(bào)告。2011.10：Gartner2012年十大戰(zhàn)略技術(shù)納入“大數(shù)據(jù)”。2011.11：IDC將“大數(shù)據(jù)”放入2012年信息通信產(chǎn)業(yè)十大預(yù)測(cè)之一。2011.11：CSDN的中國大數(shù)據(jù)技術(shù)大會(huì)。大數(shù)據(jù)走紅史什么是大數(shù)據(jù)大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對(duì)齊內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。1．信息基礎(chǔ)設(shè)施持續(xù)完善2．互聯(lián)網(wǎng)3．云計(jì)算4．物聯(lián)網(wǎng)與移動(dòng)終端大數(shù)據(jù)產(chǎn)生背景大數(shù)據(jù)價(jià)值發(fā)現(xiàn)規(guī)律，預(yù)測(cè)未來馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國采購在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了。”大數(shù)據(jù)的生態(tài)系統(tǒng)海量數(shù)據(jù)分布式并行處理框架！Hadoop⒈高可靠性⒉高擴(kuò)展性⒊高效性4經(jīng)濟(jì)IT巨頭和HadoppIBM：一體機(jī)Oracle：一體機(jī)微軟：數(shù)據(jù)倉庫+云平臺(tái)

Netezza

數(shù)據(jù)倉庫一體機(jī)。Netezza將存儲(chǔ)、處理、數(shù)據(jù)庫和分析融入到一個(gè)高性能數(shù)據(jù)倉庫設(shè)備中，該設(shè)備專為使大數(shù)據(jù)高級(jí)分析更簡單、更迅捷和更易用而設(shè)計(jì)。

Teradata

數(shù)據(jù)倉庫，其配備性能最高、最可靠的大規(guī)模并行處理(MPP)平臺(tái)，能夠高速處理海量數(shù)據(jù)。WindowsAzureSQLDatabase

微軟建構(gòu)在WindowsAzure云操作系統(tǒng)之上，運(yùn)行云計(jì)算的關(guān)系數(shù)據(jù)庫服務(wù)，是一種云存儲(chǔ)的實(shí)現(xiàn)，提供網(wǎng)絡(luò)型的應(yīng)用程序數(shù)據(jù)存儲(chǔ)的服務(wù)。

數(shù)據(jù)倉庫

空間信息？“今天，地理空間信息被越來越多的企業(yè)認(rèn)為是企業(yè)的戰(zhàn)略資產(chǎn)。地理空間信息的處理、存儲(chǔ)和分析已成為商務(wù)智慧的重要組成部分?！?/p>

---JackDangermondEsri大數(shù)據(jù)解決方案IBMNetezza7.0NetezzaSpatialEsriPackageTeradataWindowsAzureSQLDatabaseEsri大數(shù)據(jù)解決方案空間信息大數(shù)據(jù)存儲(chǔ)空間大數(shù)據(jù)挖掘分析GIStoolsforHadoopEsri空間大數(shù)據(jù)存儲(chǔ)自帶空間數(shù)據(jù)類型-Geometry：類型表示平面坐標(biāo)系中的數(shù)據(jù)。-Geography：

類型表示圓形地球坐標(biāo)系中的數(shù)據(jù)。空間數(shù)據(jù)展示（ManageMENTStudio）空間數(shù)據(jù)分析提供BingMapsSDKSQLAzure云存儲(chǔ)服務(wù)

Netezza：一體機(jī)自帶空間數(shù)據(jù)類型-legacyNetezzaSpatialPackage(變長字段,最長64,000)空間數(shù)據(jù)展示？空間數(shù)據(jù)分析自帶數(shù)據(jù)類型-ST_Geometry，TeradataSpatial兼容SQL/MM標(biāo)準(zhǔn)。主流地理空間數(shù)據(jù)格式導(dǎo)入導(dǎo)出

MapInfoEsriShapeFileWKB/WKT第三方空間數(shù)據(jù)展示工具空間數(shù)據(jù)分析Teradata數(shù)據(jù)倉庫問題可視化

-制圖效果

-多源空間數(shù)據(jù)聚合

-多端展示（web或借助第三方）空間分析

-簡單空間分析

-操作技術(shù)門檻高：通過SQL語句進(jìn)行分析操作空間數(shù)據(jù)遷移復(fù)雜-通過sql或者第三方工具完成IBMNetezza6.0/7.0NetezzaSpatialEsriPackageTeradata14.0WindowsAzureSQLDatabaseEsri空間大數(shù)據(jù)存儲(chǔ)帶來的能力可視化

-直接讀取原生數(shù)據(jù)庫空間數(shù)據(jù)（只讀）

-強(qiáng)大的制圖效果

-多源空間數(shù)據(jù)聚合

-Web端、移動(dòng)端、桌面端多端展示（可以發(fā)布服務(wù)嗎？）空間分析

-強(qiáng)大的空間分析能力

-即拿即用的GP工具，操作技術(shù)門檻低空間數(shù)據(jù)遷移-通過sql或者第三方工具完成帶來的能力：可視化可視化

-直接讀取原生數(shù)據(jù)庫空間數(shù)據(jù)（只讀）

-強(qiáng)大的制圖效果

-多源空間數(shù)據(jù)聚合

-Web端、移動(dòng)端、桌面端多端展示帶來的能力：空間分析空間分析

-強(qiáng)大的空間分析能力

-即拿即用的GP工具，操作技術(shù)門檻低帶來的能力：空間數(shù)據(jù)遷移空間數(shù)據(jù)遷移-通過sql或者第三方工具完成Esri空間大數(shù)據(jù)挖掘分析GIStoolsforHadoop開源工具包https:///Esri/gis-tools-for-hadoop

GIStoolsforHadoop

為Hadoop提供空間數(shù)據(jù)展示、查詢及分析能力EsriGeometryAPIforJava

擴(kuò)展Hadoop，提供空間類型及空間操作

創(chuàng)建空間數(shù)據(jù)MapReduce應(yīng)用SpatialFrameworkforHadoop

擴(kuò)展Hive，可通過HQL語句，使用空間分析和空間類型

ArcGIS中提供JSON實(shí)用工具GeoprocessingToolsforHadoop

即拿即用的GP工具

移動(dòng)空間數(shù)據(jù)、在Hadoop中執(zhí)行定義的工作流

GIStoolsforHadoop

equalsdisjointtouchescrosseswithincontainsoverlapsbuffercutclipconvexHullintersectuniondifference創(chuàng)建簡單幾何對(duì)象或從其他支持格式（JSON、WKT、shp）中導(dǎo)入空間操作拓?fù)潢P(guān)系GeometryAPIforJava定制空間大數(shù)據(jù)分析應(yīng)用JSONUtilities與ArcGIS導(dǎo)出的JSON數(shù)據(jù)進(jìn)行交互HiveSpatial在Hive中的UDFs和SerDes，用于空間分析SpatialFrameworkforHadoop使用Hadoop數(shù)據(jù)處理系統(tǒng)進(jìn)行空間數(shù)據(jù)分析HadoopToolsFeaturesToJSON/JSONToFeaturesArcGISfeaturesJSONCopyToHDFS/CopyFromHDFSLocalFileSystemHDFSExecuteworkflowWorkflowOozieHadoop(Map/Reduce,HDFS)GeoprocessingtoolsforHadoop在空間數(shù)據(jù)庫和Hadoop之間交換要素的工具，可創(chuàng)建工作流帶來的能力海量空間數(shù)據(jù)存儲(chǔ)

-hadoop不支持空間數(shù)據(jù)

-提供featuretojson工具數(shù)據(jù)可視化

-即拿即用的工具

-分析結(jié)果可視化

-強(qiáng)大制圖能力

-豐富底圖資源空間大數(shù)據(jù)并行運(yùn)算（空間查詢、空間分析）

-基于空間條件進(jìn)行大數(shù)據(jù)過濾或聚合操作

-統(tǒng)計(jì)落在區(qū)域中的點(diǎn)數(shù)應(yīng)用場景公安犯罪分析衛(wèi)生疾病傳播分析環(huán)境污染分析氣象趨勢(shì)分析