大數(shù)據(jù)體系結(jié)構(gòu)及關(guān)鍵技術(shù)課件

1、大數(shù)據(jù)體系結(jié)構(gòu)及關(guān)鍵技術(shù)大數(shù)據(jù)體系結(jié)構(gòu)及關(guān)鍵技術(shù)主要內(nèi)容一、大數(shù)據(jù)時代的新命題二、大數(shù)據(jù)的體系結(jié)構(gòu)三、大數(shù)據(jù)的關(guān)鍵技術(shù)四、物聯(lián)網(wǎng)與云計算架構(gòu)五、知名企業(yè)大數(shù)據(jù)架構(gòu)六、大數(shù)據(jù)系統(tǒng)設(shè)計案例總結(jié)、交流、作業(yè)主要內(nèi)容一、大數(shù)據(jù)時代的新命題一、大數(shù)據(jù)時代的新命題谷歌大數(shù)據(jù)中心：全球主要DC有8個谷歌大數(shù)據(jù)中心：全球主要DC有8個大數(shù)據(jù)表象概念：百度數(shù)據(jù)規(guī)模大數(shù)據(jù)表象概念：百度數(shù)據(jù)規(guī)模大數(shù)據(jù)表象概念：對系統(tǒng)要求大數(shù)據(jù)表象概念：對系統(tǒng)要求大數(shù)據(jù)時代的新命題:數(shù)據(jù)在爆炸式增長 互聯(lián)網(wǎng)海量大數(shù)據(jù) 物聯(lián)網(wǎng)各類型數(shù)據(jù)發(fā)數(shù)據(jù)處理能力要求提高 大規(guī)模數(shù)據(jù)存取方式 大數(shù)據(jù)并行技術(shù)能力數(shù)據(jù)間關(guān)聯(lián)性分析加強 社交網(wǎng)絡(luò)關(guān)系 多

2、業(yè)務(wù)關(guān)聯(lián)性 用戶行為分析網(wǎng)絡(luò)數(shù)據(jù)的實時同步 一切營銷都線下線上 多業(yè)務(wù)跨地域數(shù)據(jù)同步“數(shù)據(jù)結(jié)構(gòu)化”本身是最具挑戰(zhàn)性的一個環(huán)節(jié).海量數(shù)據(jù)與快速處理是一對悖論.大數(shù)據(jù)時代的新命題:信息社會需求：信息化-智能化-現(xiàn)代化農(nóng)業(yè)社會工業(yè)社會信息社會人力工具 - 鐮刀 - 鋤頭 動力工具 - 機車 - 機床智能工具-推理機-智能網(wǎng) 信息時代的大數(shù)據(jù)需求信息社會需求：信息化-智能化-現(xiàn)代化農(nóng)業(yè)社會工業(yè)社會信息社會信息時代數(shù)據(jù)大爆炸，推動智能技術(shù)發(fā)展信息時代數(shù)據(jù)大爆炸，推動智能技術(shù)發(fā)展信息時代，軟件編程模型發(fā)展“面向信息處理”的智能化編程模型，編程簡化為數(shù)據(jù)配置與管理信息時代，軟件編程模型發(fā)展“面向信息處理”的

3、智能化編程模型，大數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)智能大數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)智能二、大數(shù)據(jù)的系統(tǒng)架構(gòu)二、大數(shù)據(jù)的系統(tǒng)架構(gòu)傳統(tǒng)數(shù)據(jù)庫技術(shù)架構(gòu):Oracle數(shù)據(jù)庫體系架構(gòu)傳統(tǒng)數(shù)據(jù)庫技術(shù)架構(gòu):Oracle數(shù)據(jù)庫體系架構(gòu)大數(shù)據(jù)架構(gòu)：分層架構(gòu)從數(shù)據(jù)在生命周期看，大數(shù)據(jù)從數(shù)據(jù)源經(jīng)過分析挖掘到最終獲得價值需要經(jīng)過5個環(huán)節(jié)，包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)存儲與管理、計算處理、數(shù)據(jù)分析和知識展現(xiàn)。大數(shù)據(jù)架構(gòu)：分層架構(gòu)從數(shù)據(jù)在生命周期看，大數(shù)據(jù)從數(shù)據(jù)源經(jīng)過分大數(shù)據(jù)的系統(tǒng)架構(gòu)：整體系統(tǒng)架構(gòu)新一代編程語言大數(shù)據(jù)的系統(tǒng)架構(gòu)：整體系統(tǒng)架構(gòu)新一代編程語言大數(shù)據(jù)架構(gòu)：整體邏輯功能架構(gòu)大數(shù)據(jù)架構(gòu)：整體邏輯功能架構(gòu)大數(shù)據(jù)架構(gòu)理解：搜索引擎大數(shù)據(jù)架構(gòu)理解：搜索引

4、擎大數(shù)據(jù)架構(gòu)理解：網(wǎng)頁內(nèi)容抓取大數(shù)據(jù)架構(gòu)理解：網(wǎng)頁內(nèi)容抓取大數(shù)據(jù)系統(tǒng)架構(gòu)HadoopHadoop分布式系統(tǒng)組成大數(shù)據(jù)系統(tǒng)架構(gòu)HadoopHadoop分布式系統(tǒng)組成大數(shù)據(jù)系統(tǒng)架構(gòu)Hadoop在圖中，Hadoop主要的功能組件有：Hadoop Common: 包含HDFS、MapReduce和其他項目公共內(nèi)容；HDFS：Hadoop分布式文件系統(tǒng)；MapReduce：一個用于并行處理大數(shù)據(jù)集的軟件框架。Map 函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個鍵/值對列表，輸入域中的每個元素對應(yīng)一個鍵/值對。Reduce 函數(shù)接受 Map 函數(shù)生成的列表，然后根據(jù)它們的鍵（為每個鍵生成一個鍵/值對）縮小鍵/值對列表

5、；HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫；Hive：是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行；Zookeeper：分布式鎖，提供類似Google Chubby的功能；Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制；Pig：大數(shù)據(jù)數(shù)據(jù)流分析平臺，為用戶提供多種接口；Sqoop：在HADOOP與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞。大數(shù)據(jù)系統(tǒng)架構(gòu)Hadoop在圖中，Hadoop主要的功能組件大數(shù)據(jù)系統(tǒng)架構(gòu)Hadoop：功

6、能定位大數(shù)據(jù)系統(tǒng)架構(gòu)Hadoop：功能定位1.大數(shù)據(jù)系統(tǒng)架構(gòu)Hadoop：層次對應(yīng)1.大數(shù)據(jù)系統(tǒng)架構(gòu)Hadoop：層次對應(yīng)大數(shù)據(jù)：分布式計算架構(gòu)大數(shù)據(jù)：分布式計算架構(gòu)大數(shù)據(jù)架構(gòu): MapReduce工作原理1大數(shù)據(jù)架構(gòu): MapReduce工作原理1大數(shù)據(jù)架構(gòu): MapReduce工作原理2大數(shù)據(jù)架構(gòu): MapReduce工作原理2三、大數(shù)據(jù)的關(guān)鍵技術(shù)三、大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)到底有哪些？核心問題是：(計算、存儲、分析)算法大數(shù)據(jù)：恐怖的大數(shù)據(jù)(生活示例)智能性：數(shù)據(jù)分析、自然語言理解 邏輯推理(演示)藝術(shù)性：分形算法、視頻動畫(演示)大數(shù)據(jù)關(guān)鍵技術(shù)到底有哪些？大數(shù)據(jù)：恐怖的大數(shù)據(jù)(生

7、活示例)大數(shù)據(jù)關(guān)鍵技術(shù)1：大數(shù)據(jù)存儲技術(shù)數(shù)據(jù)的海量化和快增長特征、以及數(shù)據(jù)格式的多樣化是大數(shù)據(jù)對存儲技術(shù)提出的首要挑戰(zhàn)。要求底層硬件架構(gòu)和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術(shù)，并能夠彈性擴展存儲容量。谷歌文件系統(tǒng)（GFS）和Hadoop 的分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）奠定了大數(shù)據(jù)存儲技術(shù)的基礎(chǔ)。GFS/HDFS 將計算和存儲節(jié)點在物理上結(jié)合在一起，從而避免在數(shù)據(jù)密集計算中易形成的I/O 吞吐量的制約，同時這類分布式存儲系統(tǒng)的文件系統(tǒng)也采用了分布式架構(gòu)，能達到較高的并發(fā)訪問能力。網(wǎng)絡(luò)附著存儲系統(tǒng)（NAS）和存儲區(qū)域網(wǎng)絡(luò)（SAN）等體系，存

8、儲和計算的物理設(shè)備分離，它們之間要通過網(wǎng)絡(luò)接口連接，這導(dǎo)致在進行數(shù)據(jù)密集型計算（Data Intensive Computing）時I/O 容易成為瓶頸。單機文件系統(tǒng)不提供數(shù)據(jù)冗余、可擴展性、容錯及并發(fā)能力差大數(shù)據(jù)關(guān)鍵技術(shù)1：大數(shù)據(jù)存儲技術(shù)數(shù)據(jù)的海量化和快增長特征、以大數(shù)據(jù)關(guān)鍵技術(shù)2：并行計算能力大數(shù)據(jù)的分析挖掘是數(shù)據(jù)密集型計算，需要巨大的計算能力。針對不同計算場景發(fā)展出特定分布式計算框架。 Yahoo 提出的S4 系統(tǒng)、Twitter 的Storm,谷歌2010 年公布的Dremel系統(tǒng)， MapReduce內(nèi)存化以提高實時性的Spark 框架. 大數(shù)據(jù)關(guān)鍵技術(shù)2：并行計算能力大數(shù)據(jù)的分析挖

9、掘是數(shù)據(jù)密集型計數(shù)據(jù)爆炸，知識貧乏 苦惱: 淹沒在數(shù)據(jù)中 ; 不能制定合適的決策! 數(shù)據(jù)知識決策模式趨勢事實關(guān)系模型關(guān)聯(lián)規(guī)則序列目標(biāo)市場資金分配貿(mào)易選擇在哪兒做廣告銷售的地理位置金融經(jīng)濟政府POS.人口統(tǒng)計生命周期大數(shù)據(jù)關(guān)鍵技術(shù)3：數(shù)據(jù)分析技術(shù)數(shù)據(jù)爆炸，知識貧乏 苦惱: 淹沒在數(shù)據(jù)中 ; 不能制定合適的基于計算流體力學(xué)的三維呈現(xiàn): 如用能場所3D場景及CFD溫度及能效云場呈現(xiàn)如下圖。大數(shù)據(jù)關(guān)鍵技術(shù)4：數(shù)據(jù)顯示技術(shù)基于計算流體力學(xué)的三維呈現(xiàn): 如用能場所3D場景及CFD溫度大數(shù)據(jù)分析世界杯：英格蘭vs意大利 1:2。數(shù)據(jù)熱圖大數(shù)據(jù)分析世界杯：英格蘭vs意大利 1:2。數(shù)據(jù)熱圖大數(shù)據(jù)關(guān)鍵技術(shù)5：數(shù)

10、據(jù)挖掘算法代特征數(shù)據(jù)挖掘算法集成分布計算模型數(shù)據(jù)模型第一代數(shù)據(jù)挖掘作為一個獨立的應(yīng)用支持一個或者多個算法 獨立的系統(tǒng)單個機器向量數(shù)據(jù)第二代和數(shù)據(jù)庫以及數(shù)據(jù)倉庫集成多個算法：能夠挖掘一次不能放進內(nèi)存的數(shù)據(jù)數(shù)據(jù)管理系統(tǒng)，包括數(shù)據(jù)庫和數(shù)據(jù)倉庫同質(zhì)/局部區(qū)域的計算機群集有些系統(tǒng)支持對象、文本、和連續(xù)的媒體數(shù)據(jù)第三代和預(yù)言模型系統(tǒng)集成 多個算法數(shù)據(jù)管理和預(yù)言模型系統(tǒng)intranet/extranet網(wǎng)絡(luò)計算支持半結(jié)構(gòu)化數(shù)據(jù)和web數(shù)據(jù)第四代和移動數(shù)據(jù)/各種計算數(shù)據(jù)聯(lián)合 多個算法數(shù)據(jù)管理、預(yù)言模型、移動系統(tǒng)移動和各種計算設(shè)備普遍存在的計算模型大數(shù)據(jù)關(guān)鍵技術(shù)5：數(shù)據(jù)挖掘算法代特征數(shù)據(jù)挖掘算法集成分布計算De

11、bt$40KQQQQII123456factor 1factor 2factor n神經(jīng)網(wǎng)絡(luò) Neural Networks聚類分析 ClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析 Sequence Analysis決策樹 Decision Trees 傾向性分析 客戶保留 客戶生命周期管理 目標(biāo)市場 價格彈性分析 客戶細分 市場細分 傾向性分析 客戶保留 目標(biāo)市場 欺詐檢測關(guān)聯(lián)分析 Association 市場組合分析 套裝產(chǎn)品分析 目錄設(shè)計 交叉銷售大數(shù)據(jù)關(guān)鍵技術(shù)5：數(shù)據(jù)挖掘算法Debt10% of IncomeDebt=0%

12、GoodB數(shù)據(jù)挖掘的主要方法分類（Classification）聚類(Clustering)相關(guān)規(guī)則(Association Rule)回歸(Regression)其他知識發(fā)現(xiàn)系統(tǒng)需要一個前處理過程數(shù)據(jù)抽取數(shù)據(jù)清洗數(shù)據(jù)選擇數(shù)據(jù)轉(zhuǎn)換知識發(fā)現(xiàn)系統(tǒng)是一個自動/半自動過程知識發(fā)現(xiàn)系統(tǒng)要有很好的性能知識發(fā)現(xiàn)KDD系統(tǒng)特征數(shù)據(jù)挖掘的主要方法分類（Classification）知識發(fā)數(shù)據(jù)挖掘主要方法：ETLETL Process Framework ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic Powe

13、rCenter、AICloudETL、DataStage、DataSpider, 等。Application& OperationsServicesTransportServicesLoadTransformExtractTarget adaptorsSource adaptorsETL Data import/Rule importETL Data ExportRuntimeMata dataServicesDesign managementMeta data Import/exportMeta data management數(shù)據(jù)挖掘主要方法：ETLETL Process Framew四、物

14、聯(lián)網(wǎng)與云計算架構(gòu)四、物聯(lián)網(wǎng)與云計算架構(gòu)互聯(lián)網(wǎng)上的物聯(lián)網(wǎng)：概念互聯(lián)網(wǎng)上的物聯(lián)網(wǎng)：概念互聯(lián)網(wǎng)上的物聯(lián)網(wǎng)：發(fā)展2009年8月7日，溫家寶視察中科院嘉興無線傳感網(wǎng)工程中心無錫研發(fā)分中心，提出“在傳感網(wǎng)發(fā)展中，要早一點謀劃未來，早一點攻破核心技術(shù)”，明確要求盡快建立中國的傳感信息中心，或叫“感知中國”中心。2010年2月25日, 中國首個傳感網(wǎng)大學(xué)科技園在無錫成立，北京郵電大學(xué)無錫感知技術(shù)與產(chǎn)業(yè)研究院是首家入駐大學(xué)科技園的高?？蒲袡C構(gòu)。移動、電信、聯(lián)通三大運營商紛紛在無錫成立物聯(lián)網(wǎng)研究中心，以無錫為首的國內(nèi)大中城市爭相建設(shè)智能城市，爭取成為感知中國示范城市。2010年3月2日，上海物聯(lián)網(wǎng)中心在上海嘉定揭

15、牌，宣稱將以此打造國內(nèi)最具競爭力、具有國際影響的物聯(lián)網(wǎng)技術(shù)研發(fā)基地，總投資達8億元。把合作伙伴鎖定為中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所。2010年3月9日，中國物聯(lián)網(wǎng)標(biāo)準(zhǔn)聯(lián)合工作組籌備會議在京召開。3月中旬，浙江省成立了物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)劃編制小組，浙江省經(jīng)濟和信息化委員會副主任鄭一方擔(dān)任組長。杭州市已經(jīng)聯(lián)合浙江省工業(yè)經(jīng)濟研究所啟動物聯(lián)網(wǎng)產(chǎn)業(yè)調(diào)研和發(fā)展規(guī)劃編制工作，提出“感知杭州”的發(fā)展愿景?；ヂ?lián)網(wǎng)上的物聯(lián)網(wǎng)：發(fā)展2009年8月7日，溫家寶視察中科院嘉物聯(lián)網(wǎng)的體系架構(gòu)物聯(lián)網(wǎng)的體系架構(gòu)物聯(lián)網(wǎng)的體系架構(gòu)物聯(lián)網(wǎng)的體系架構(gòu)物聯(lián)網(wǎng)的體系架構(gòu)物聯(lián)網(wǎng)的體系架構(gòu)物聯(lián)網(wǎng)示范：智能家居大數(shù)據(jù)管理系統(tǒng)物聯(lián)網(wǎng)示范：智能家

16、居大數(shù)據(jù)管理系統(tǒng)物聯(lián)網(wǎng)示范：動態(tài)跟蹤管理，牧場大數(shù)據(jù)物聯(lián)網(wǎng)示范：動態(tài)跟蹤管理，牧場大數(shù)據(jù)物聯(lián)網(wǎng)示范：醫(yī)療健康大數(shù)據(jù) 管理體系架構(gòu)大中型醫(yī)院政企客戶領(lǐng)導(dǎo)省領(lǐng)航平臺 基層醫(yī)療機構(gòu)短信接口平臺功能健康管理服務(wù)緊急呼叫一鍵通運動能量檢測終端功能血壓/血糖管理離退休干部GPS定位健康檔案自管理心電圖診斷呈現(xiàn)心電圖測量移動OA彩信接口用藥提醒互動交流預(yù)約就醫(yī)WAP接口體重管理血糖管理心臟疾病管理血壓管理健康管理功能客戶關(guān)懷功能BSS/OSS日常心電監(jiān)測血壓監(jiān)測運動情況監(jiān)測醫(yī)療服務(wù)功能血糖監(jiān)測移動全球眼物聯(lián)網(wǎng)示范：醫(yī)療健康大數(shù)據(jù) 管理體系架構(gòu)大中型醫(yī)院政企客戶領(lǐng)云計算演進：桌面云理解(NDNCCCN)云計算

17、演進：桌面云理解(NDNCCCN)云計算架構(gòu)：通用三層架構(gòu)(IBM為例，加BPaaS)IaaSPaaSSaaSBPaaS云計算架構(gòu)：通用三層架構(gòu)(IBM為例，加BPaaS)IaaS云計算的不同服務(wù)層次和內(nèi)容：云計算的不同服務(wù)層次和內(nèi)容：云計算的應(yīng)用案例：廣州品高IaaS云計算的應(yīng)用案例：廣州品高IaaS云計算的統(tǒng)一數(shù)據(jù)中心Ciscos Cloud Computing ApproachCombining the unified data center and cloud intelligent networkNetwork Service becomes an essential element

18、 云計算的統(tǒng)一數(shù)據(jù)中心Ciscos Cloud Comput五、知名企業(yè)大數(shù)據(jù)架構(gòu)五、知名企業(yè)大數(shù)據(jù)架構(gòu)又拍云存儲架構(gòu)又拍云存儲架構(gòu)大數(shù)據(jù)：IBM大數(shù)據(jù)方案大數(shù)據(jù)：IBM大數(shù)據(jù)方案大數(shù)據(jù)分析實例：北京郵電大學(xué)“云海”移動互聯(lián)網(wǎng)數(shù)據(jù)分析平臺大數(shù)據(jù)分析實例：北京郵電大學(xué)“云?！币苿踊ヂ?lián)網(wǎng)數(shù)據(jù)分析平1.大數(shù)據(jù)架構(gòu)：曙光智慧交通系統(tǒng)架構(gòu)1.大數(shù)據(jù)架構(gòu)：曙光智慧交通系統(tǒng)架構(gòu)1.大數(shù)據(jù)架構(gòu)：IBM1.大數(shù)據(jù)架構(gòu)：IBM1.大數(shù)據(jù)架構(gòu)：HP云監(jiān)控大數(shù)據(jù)解決方案1.大數(shù)據(jù)架構(gòu)：HP云監(jiān)控大數(shù)據(jù)解決方案大數(shù)據(jù)架構(gòu)Intel分布式Hadoop架構(gòu)大數(shù)據(jù)架構(gòu)Intel分布式Hadoop架構(gòu)大數(shù)據(jù)架構(gòu)：微軟大數(shù)據(jù)解決

19、方案設(shè)計了一套基于 Microsoft SQL Server 2012 和 Microsoft Azure HDInsight 的端到端大數(shù)據(jù)解決方案。在 HDInsight 上快速部署 Hadoop 群集。大數(shù)據(jù)架構(gòu)：微軟大數(shù)據(jù)解決方案設(shè)計了一套基于 Microso大數(shù)據(jù)平臺架構(gòu)引跑科技EngineOne平臺大數(shù)據(jù)平臺架構(gòu)引跑科技EngineOne平臺大數(shù)據(jù)虛擬化架構(gòu)：VMWare BDEvSphere Big Data Extensions （BDE）是VMware基于 Serengeti開源技術(shù)的企業(yè)發(fā)行版，增強基礎(chǔ)架構(gòu)，更好地部署、運行和管理大數(shù)據(jù)負載，虛擬化應(yīng)用。大數(shù)據(jù)虛擬化（BDE

20、/Serengeti）的部署結(jié)構(gòu)圖大數(shù)據(jù)虛擬化架構(gòu)：VMWare BDEvSphere Big大數(shù)據(jù)虛擬化架構(gòu)：VMWare BDESerengeti管理服務(wù)器的系統(tǒng)架構(gòu)圖大數(shù)據(jù)虛擬化架構(gòu)：VMWare BDESerengeti管理大數(shù)據(jù)架構(gòu)Netflix基于AWS的大數(shù)據(jù)平臺，不用HDFS而用amazon的S3 (美國最大的在線DVD租賃商，奈飛公司，提供在線影片租賃業(yè)務(wù))大數(shù)據(jù)架構(gòu)Netflix基于AWS的大數(shù)據(jù)平臺，不用HDFSSiri的技術(shù)實現(xiàn)架構(gòu)Siri的技術(shù)實現(xiàn)架構(gòu)大數(shù)據(jù)購物網(wǎng)站的大數(shù)據(jù)分析系統(tǒng)大數(shù)據(jù)購物網(wǎng)站的大數(shù)據(jù)分析系統(tǒng)大數(shù)據(jù)某銀聯(lián)機房大數(shù)據(jù)架構(gòu)大數(shù)據(jù)某銀聯(lián)機房大數(shù)據(jù): 安全架

21、構(gòu)大數(shù)據(jù): 安全架構(gòu)六、大數(shù)據(jù)系統(tǒng)設(shè)計案例分析六、大數(shù)據(jù)系統(tǒng)設(shè)計案例分析1. Web數(shù)據(jù)分析系統(tǒng)的軟件驗證模型UML及其擴展機制/QVTWeb領(lǐng)域模型轉(zhuǎn)換及代碼生成研究Web領(lǐng)域建模工具原型研發(fā)(基于eclipse-modeling Ecore tools,GMF的Web領(lǐng)域元建模及建模工具)Web模型轉(zhuǎn)化與代碼生成工具原型研發(fā)（基于mediniQVT及 eclipse-modeling operational QVT EMF的模型轉(zhuǎn)化與代碼生成工具）在具體Web系統(tǒng)開發(fā)中的應(yīng)用、驗證與比較Web應(yīng)用實踐基于MDA的Web領(lǐng)域模型研究Web領(lǐng)域的CIM模型（基于Ecore的web領(lǐng)域需求的元模

22、型)Web領(lǐng)域的PIM模型（基于Ecore的web領(lǐng)域獨立平臺的元模型）Web領(lǐng)域的PSM模型Web領(lǐng)域CIM到PIM轉(zhuǎn)換（基于QVT的CIM到PIM轉(zhuǎn)換）Web領(lǐng)域PIM到PSM轉(zhuǎn)換（基于QVT的CIM到PIM轉(zhuǎn)換）Web領(lǐng)域PSM到源代碼轉(zhuǎn)換模型到元模型歸納轉(zhuǎn)換技術(shù)1. Web數(shù)據(jù)分析系統(tǒng)的軟件驗證模型UML及其擴展機制/Q模型體系與模型轉(zhuǎn)換模型體系與模型轉(zhuǎn)換大數(shù)據(jù)體系結(jié)構(gòu)及關(guān)鍵技術(shù)分析模型元模型分析模型元模型數(shù)據(jù)訪問層元模型數(shù)據(jù)訪問層元模型業(yè)務(wù)邏輯層元模型業(yè)務(wù)邏輯層元模型展現(xiàn)層元模型展現(xiàn)層元模型2. 淘寶大數(shù)據(jù)架構(gòu)2. 淘寶大數(shù)據(jù)架構(gòu) 淘寶大數(shù)據(jù)架構(gòu) 淘寶大數(shù)據(jù)架構(gòu)大數(shù)據(jù)架構(gòu): 淘寶海量

23、數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)按照數(shù)據(jù)的流向來劃分，淘寶的數(shù)據(jù)產(chǎn)品的技術(shù)架構(gòu)分為五層（自上而下），分別是數(shù)據(jù)源、計算層、存儲層、查詢層、產(chǎn)品層。大數(shù)據(jù)架構(gòu): 淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)按照數(shù)據(jù)的流向來劃分大數(shù)據(jù)架構(gòu): 淘寶海量數(shù)據(jù),搜索引擎架構(gòu)大數(shù)據(jù)架構(gòu): 淘寶海量數(shù)據(jù),搜索引擎架構(gòu)大數(shù)據(jù)架構(gòu): 淘寶海量數(shù)據(jù), 網(wǎng)絡(luò)服務(wù)架構(gòu)大數(shù)據(jù)架構(gòu): 淘寶海量數(shù)據(jù), 網(wǎng)絡(luò)服務(wù)架構(gòu)3.大數(shù)據(jù)架構(gòu)設(shè)計：智慧城市架構(gòu)設(shè)計基于結(jié)合物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)的智慧城市系統(tǒng)架構(gòu)3.大數(shù)據(jù)架構(gòu)設(shè)計：智慧城市架構(gòu)設(shè)計基于結(jié)合物聯(lián)網(wǎng)、云計算、案例分析：基于工業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)分析平臺的能源管理系統(tǒng)總體架構(gòu)案例分析：基于工業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)分析平臺的

24、能源管理系統(tǒng)社會大生產(chǎn)無序無控排放是環(huán)保死敵一次能源生產(chǎn)二次能源生產(chǎn)一次排放二次能源使用二次排放次生排放原煤油氣礦精煉電熱油焦礦當(dāng)前熱點霧霾污染問題根源來自于無序無控排放，現(xiàn)在公布的霧霾指數(shù)標(biāo)示只是城市若干個監(jiān)測點的結(jié)果呈現(xiàn)，具體排放源頭及排放關(guān)鍵因素是什么？基于國情大量燃煤，燃煤換能效率低排放高，二次排放占較大比例，二次能源消耗再產(chǎn)生大量次生排放。煤煤電熱焦電熱焦油氣所有排放環(huán)節(jié)均缺失精細在線監(jiān)測數(shù)據(jù)，無序無控惡性排放無緣節(jié)能增效，發(fā)展決定總體能耗繼續(xù)升高，緩解危局只能走節(jié)能減排信息化助力工業(yè)節(jié)能改造道路社會大生產(chǎn)無序無控排放是環(huán)保死敵一次能源生產(chǎn)二次能源生產(chǎn)一次節(jié)能減排的難點及瓶頸節(jié)能減排

25、管理如何著手節(jié)能減排措施如何把控節(jié)能減排效果如何確認節(jié)能減排空間如何診斷節(jié)能減排計量監(jiān)測管理分析評估？節(jié)能減排是覆蓋全社會所有生產(chǎn)消費過程的大系統(tǒng)工程，配套的能源排放在線計量監(jiān)測管理分析評估大數(shù)據(jù)信息化系統(tǒng)是其關(guān)鍵基礎(chǔ)架構(gòu)。目前存在四大難題1、節(jié)能規(guī)劃部署2、能耗診斷審計3、節(jié)能手段實施過程控制4、節(jié)能效益量化計算、EPC分成認證上報節(jié)能減排的難點及瓶頸節(jié)能減排管理節(jié)能減排措施節(jié)能減排效果節(jié)能電信運營商覆蓋全國物聯(lián)網(wǎng)及云計算體現(xiàn)優(yōu)勢 十二五期末年排放超千噸標(biāo)煤的省級重點能耗單位原則上必須納入政府節(jié)能減排監(jiān)管機構(gòu)的監(jiān)測量化管理，年排放超萬噸標(biāo)煤的國家級重點能耗單位必須自建企業(yè)級能源管理系統(tǒng)接入當(dāng)

26、地市級能源管理監(jiān)控中心，市級匯聚到省級能源管理監(jiān)控中心，省級接入中央發(fā)改委全國能源管理監(jiān)控中心平臺，市省中央所匯集的排放原始數(shù)據(jù)向全社會開放。 這樣超級大數(shù)據(jù)系統(tǒng)需要極高的云計算網(wǎng)絡(luò)存儲資源，還要對各用能戶建立多維度關(guān)聯(lián)能耗排放模型，對自控可靠的用能戶以模型仿真模擬結(jié)果對相關(guān)用能設(shè)備實施反向開關(guān)待機操作，實現(xiàn)用能設(shè)備動態(tài)能效優(yōu)化，這樣的操控實施理應(yīng)掌控在國有3大運營商手中電信運營商覆蓋全國物聯(lián)網(wǎng)及云計算體現(xiàn)優(yōu)勢 十二五解決瓶頸問題-其他問題迎刃而解國家綜合能源管理平臺A省數(shù)據(jù)倉庫及平臺B省數(shù)據(jù)倉庫及平臺某行業(yè)數(shù)據(jù)接口服務(wù)器前端數(shù)據(jù)采集物聯(lián)網(wǎng)網(wǎng)關(guān)前端輔助數(shù)據(jù)接口服務(wù)器前端數(shù)據(jù)采集物聯(lián)網(wǎng)網(wǎng)關(guān)前端輔

27、助數(shù)據(jù)接口服務(wù)器前端數(shù)據(jù)采集物聯(lián)網(wǎng)網(wǎng)關(guān)前端輔助數(shù)據(jù)接口服務(wù)器解決瓶頸問題-其他問題迎刃而解國家綜合能源管理平臺A省數(shù)據(jù)物聯(lián)網(wǎng)云計算大數(shù)據(jù)結(jié)合-關(guān)鍵技術(shù)途徑 網(wǎng)管系統(tǒng)、動環(huán)系統(tǒng)負責(zé)運營商自身能耗數(shù)據(jù)采集及融合，政府發(fā)文強制重點能耗企業(yè)采用標(biāo)準(zhǔn)化物聯(lián)網(wǎng)采集網(wǎng)關(guān)及國標(biāo)智能電表無線接入此系統(tǒng)、或企業(yè)已有系統(tǒng)按統(tǒng)一能耗排放數(shù)據(jù)采集及接口標(biāo)準(zhǔn)規(guī)范專線轉(zhuǎn)發(fā)接入此系統(tǒng)（只要掛表接入政府均有適當(dāng)補貼），運營商收流量費及功能費，如用能戶使用能源審計診斷功能可另收咨詢費等，政府向運營商付財政補貼、維護費、流量費及服務(wù)費購買服務(wù)，運營商還可收能耗排放源數(shù)據(jù)交易費并向政府交管理費等。物聯(lián)網(wǎng)云計算大數(shù)據(jù)結(jié)合-關(guān)鍵技術(shù)途徑 網(wǎng)管系統(tǒng)用能端能耗分量計量及影響因素感知采集輔助設(shè)備能耗主設(shè)備能耗照明能耗辦公設(shè)備能耗室內(nèi)外溫濕度振動壓力等地理裝機空間建材環(huán)境等物