大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流_第1頁
大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流_第2頁
大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流_第3頁
大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流_第4頁
大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流_第5頁
已閱讀5頁,還剩163頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

目錄現(xiàn)狀分析現(xiàn)狀分析析規(guī)劃思路規(guī)劃思路產(chǎn)品設(shè)計產(chǎn)品設(shè)計成功案例成功案例干貨附錄干貨附錄建設(shè)現(xiàn)狀:集團大數(shù)據(jù)平臺建設(shè)現(xiàn)狀現(xiàn)狀分析現(xiàn)狀分析理治無理治無各省大數(shù)據(jù)平臺廊坊大數(shù)據(jù)平臺亂散分各省大數(shù)據(jù)平臺廊坊大數(shù)據(jù)平臺亂散分州臺建設(shè)背景:集團痛點數(shù)據(jù)治理數(shù)據(jù)治理應(yīng)數(shù)據(jù)中臺創(chuàng)新驅(qū)動2急需支持租戶自助使用云化大數(shù)據(jù)相關(guān)資3保障數(shù)據(jù)安全開放通過持續(xù)研究和探索通過持續(xù)研究和探索,構(gòu)建中國容器化大數(shù)據(jù)云平臺,解決痛點問題問題總結(jié):集團平臺待改進需求總結(jié)平臺架構(gòu)數(shù)據(jù)匯聚數(shù)據(jù)處理數(shù)據(jù)治理數(shù)據(jù)開發(fā)數(shù)據(jù)應(yīng)用系統(tǒng)運維數(shù)據(jù)安全整體目標(biāo):本次規(guī)劃實現(xiàn)的整體目標(biāo)基礎(chǔ)產(chǎn)品基礎(chǔ)產(chǎn)品資產(chǎn)產(chǎn)品應(yīng)用類產(chǎn)品采治挖采治挖總體架構(gòu):集團云化集群技術(shù)架構(gòu)租戶A租戶A租戶B租戶C租戶D租戶N……計算模塊服務(wù)模塊SparkSparkAlluxioAlluxioHDFS物理資源存儲模塊總體架構(gòu):技術(shù)特點-多集群和混合云節(jié)點擴容用戶集群–內(nèi)蒙用戶集群–河南、山東用戶集群–深圳添加用戶集群–成都用戶集群–AWS1用戶集群–AWS2總體架構(gòu):技術(shù)特點-集群類型管理集群用戶集群應(yīng)用管理應(yīng)用管理應(yīng)用編排應(yīng)用運行環(huán)境一致性應(yīng)用運行環(huán)境一致性總體架構(gòu):技術(shù)特點-鏡像倉庫、鏡像同步生產(chǎn)集群開發(fā)測試集群托管環(huán)境生產(chǎn)集群開發(fā)測試集群托管環(huán)境同城數(shù)據(jù)中心預(yù)發(fā)布集群共有云區(qū)異地災(zāi)備數(shù)據(jù)中心生產(chǎn)環(huán)境主數(shù)據(jù)中心策略復(fù)制策略復(fù)制策略復(fù)制策略復(fù)制總體架構(gòu):技術(shù)特點-資源管理、多網(wǎng)絡(luò)方案總體架構(gòu):集團與各省份關(guān)系圖集團云化集群廊坊大數(shù)據(jù)平臺詳單各省沉淀,計算指標(biāo)數(shù)據(jù)同步集團云化集群廊坊大數(shù)據(jù)平臺詳單各省沉淀,計算指標(biāo)數(shù)據(jù)同步查詢服務(wù)適配:〉數(shù)據(jù)資產(chǎn)管理平臺組件云化各省大數(shù)據(jù)平臺…服務(wù)云化詳單各省沉淀,:〉數(shù)據(jù)資產(chǎn)管理平臺組件云化各省大數(shù)據(jù)平臺…服務(wù)云化詳單各省沉淀,計算指標(biāo)數(shù)據(jù)同步建設(shè)背景:大數(shù)據(jù)與云計算的發(fā)展歷程2006:Hadoop(HDFS+MapReduce),1980-20022003-20062006-20092009-20162017-2022萌芽階段突破階段成熟階段應(yīng)用階段爆發(fā)階段-大數(shù)據(jù)元年2010:OpenStack(IaaS)2009:vSphere(IaaS)2012:OracleCloud(Iaas/PaaS/SaaS)SaaS出現(xiàn)CaaS出現(xiàn)?大數(shù)據(jù)的目標(biāo)是充分挖掘海量數(shù)據(jù)中的信息,以發(fā)現(xiàn)數(shù)據(jù)中的價值?云計算的目標(biāo)是通過資源共享的方式更好地調(diào)用、擴展和管理計算和存儲等方面的資源和能降低企業(yè)的IT成本?云計算可以為大數(shù)據(jù)平臺的計算和存儲提供資源層的靈活性?大數(shù)據(jù)組件部署到云平的便利和高效技術(shù)發(fā)展趨勢:走向AI+Bigdata+Cloud融合v以海量數(shù)據(jù)存儲、處理為主v平臺難以維護,數(shù)據(jù)開發(fā)困難Bigdata2.0:vHadoop商業(yè)版出現(xiàn)vSQLonHadoop逐漸成熟v以批處理、流處理為主Bigdata3.0:v客戶需求多元化v技術(shù)棧復(fù)雜化vABC走向融合QQSpecialization建設(shè)背景:中國構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺 向上服務(wù)對內(nèi)生產(chǎn),同時支撐價值開放運營技術(shù)引領(lǐng)資產(chǎn)化管理技術(shù)引領(lǐng)資產(chǎn)化管理存儲計算能力孵化價值化運營頂層架構(gòu)設(shè)計價值化運營頂層架構(gòu)設(shè)計全域貫穿全域貫穿能力化輸出統(tǒng)一數(shù)據(jù)模型向下完成5大類、全域數(shù)據(jù)匯聚建設(shè)背景:中國構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺數(shù)據(jù)中臺開發(fā)測試數(shù)據(jù)治理應(yīng)數(shù)據(jù)中臺開發(fā)測試數(shù)據(jù)治理應(yīng)(()1海量的計算能力、存儲能力2PB級數(shù)據(jù)吞吐能力、統(tǒng)一數(shù)據(jù)服務(wù)能力3企業(yè)核心數(shù)據(jù)資產(chǎn)管理能力4助力數(shù)字化轉(zhuǎn)型的服務(wù)型數(shù)據(jù)應(yīng)用5可價值變現(xiàn)的產(chǎn)品型數(shù)據(jù)應(yīng)用serverserver歷程回顧:中國大數(shù)據(jù)平臺建設(shè)l2016年至今,中國持續(xù)在大數(shù)據(jù)云平臺建設(shè)方面投入力量最初階段優(yōu)化提升MysqlMysqlStormSpark……Hadoop……MysqlMysqlStormSpark……Hadoop……serverserverserverserverserverserver SparkStormmysqltensorflowHadoop時序數(shù)據(jù)庫Caffeserverserverserverserverserver歷程回顧:Kubernetesvs.Mesos通過研究、探索和實踐,我們發(fā)現(xiàn)Kubernetes+Docker的技術(shù)路線更契合的實際需求。高高歷程回顧:與Rancher的合作中國在搭建Kubernetes+Docker的容器化平臺過程中,引入了Rancher部署/管理中國的微服務(wù)開發(fā)運維管理平臺使用了RancherServer,通過圖形化和RKE兩種方式對多個租戶的kubernetes集群進行部署和管理:?圖形化部署和擴展集群?圖形化節(jié)點、資源和容器監(jiān)控?備份和容災(zāi),提高集群可靠性Rancher具有豐富的容器化實施案例經(jīng)驗,是在支撐客戶需求以及集群故障恢復(fù)方面的堅強后盾。Kubernetes作為開源產(chǎn)品,經(jīng)常會有重大安全漏洞,Rancher都是率先發(fā)現(xiàn)并及時給出解決方案,為云平臺的安全保駕護航。平臺實踐:整體介紹2018年,基于Kubernetes+Dock基于統(tǒng)一服務(wù)集成框架KubernetesServiceCatalog,集中管理、部署多類PaaS能力,包括大數(shù)據(jù)基礎(chǔ)服務(wù)能力、中間件及數(shù)據(jù)庫能力、數(shù)據(jù)集成工具能力、容器云能力、深度學(xué)習(xí)框架能力等,并支持靈活擴展。面向省分公司、子公司及內(nèi)外部合作伙伴,實現(xiàn)大數(shù)據(jù)云化資源能力的自助開放,支持租戶進行大數(shù)據(jù)平臺建設(shè)、大數(shù)據(jù)加工處理、模型訓(xùn)練及應(yīng)用的開發(fā)部署。創(chuàng)新孵化模型訓(xùn)練應(yīng)用/微服務(wù)開發(fā)部署創(chuàng)新孵化模型訓(xùn)練應(yīng)用/微服務(wù)開發(fā)部署某省經(jīng)營分析系統(tǒng)l應(yīng)用持續(xù)集成/部署租戶某省大數(shù)據(jù)生產(chǎn)平臺深度學(xué)習(xí)即服務(wù)cafe容器云服務(wù)數(shù)據(jù)集成工具即服務(wù)深度學(xué)習(xí)即服務(wù)cafe容器云服務(wù)數(shù)據(jù)集成工具即服務(wù)留中間件/數(shù)據(jù)庫即服務(wù)RedisKafka大數(shù)據(jù)即服務(wù)統(tǒng)一服務(wù)集成框架(KubernetesServiceCatalog)Kubernetes+Docker資源管理資源調(diào)度資源隔離彈性伸縮安全管控負載均衡Kubernetes+Docker資源管理資源調(diào)度資源隔離彈性伸縮安全管控負載均衡平臺實踐:主要PaaS能力01大數(shù)據(jù)基礎(chǔ)服務(wù)組件(原子組件+場景化組合)SparkZooKeeper信息檢索數(shù)據(jù)倉庫數(shù)據(jù)集市適用于面向部門級的數(shù)據(jù)分析業(yè)務(wù),提供包括交互式分析引擎、OLAP實時計算數(shù)據(jù)挖掘平臺實踐:主要PaaS能力元數(shù)據(jù)管理云化ETL數(shù)據(jù)稽核管理caffe平臺實踐:技術(shù)架構(gòu)租戶A租戶B租戶C租戶D…租戶A租戶B租戶C租戶D……租戶N能力開放能力開放能力列表能力訂購能力變更能力退訂能力上架能力下架KubernetesKubernetesServiceCatalog深度學(xué)習(xí)框架深度學(xué)習(xí)框架大數(shù)據(jù)基礎(chǔ)服務(wù)數(shù)據(jù)集成工具中間件及數(shù)據(jù)庫三方服務(wù)擴展微服務(wù)開發(fā)部署理限流/降級/資源管理資源調(diào)度資源隔離服務(wù)編排彈性伸縮安全管控負載均衡平臺實踐:技術(shù)架構(gòu)l運用統(tǒng)一集成框架KubernetesServiceCatalog,實現(xiàn)異構(gòu)服務(wù)組件的統(tǒng)一納管、自助拉起和在線開放。使用業(yè)界標(biāo)準(zhǔn)的OpenServiceBrokerAPI,支持第三方組件的接入和擴展。KubernetesKubernetesOpenOpenServiceBrokerAPIKubernetesAPIServerKubernetesAPIServerServicecatalogAPIServerServicecatalogControllerSServicecatalogControllerScaffe平臺實踐:支持場景租戶整體應(yīng)用場景概覽u省分大數(shù)據(jù)平臺構(gòu)建u大數(shù)據(jù)加工處理u模型訓(xùn)練u容器化應(yīng)用/服務(wù)開發(fā)部署中國容器化大數(shù)據(jù)云平臺ll租戶自助構(gòu)建大數(shù)據(jù)平臺,進行數(shù)據(jù)生產(chǎn)l提供大數(shù)據(jù)相關(guān)服務(wù)組件,供租戶進行數(shù)據(jù)加工處理l租戶應(yīng)用/微服務(wù)的開發(fā)和容器化部署平臺實踐:安全隔離容器化大數(shù)據(jù)云平臺保障租戶資源隔離、空間獨立、數(shù)據(jù)加工過程私密、互不干擾,為租戶提服務(wù)隔離資源隔離資源隔離業(yè)務(wù)隔離業(yè)務(wù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離租戶隔離和控制平臺實踐:技術(shù)挑戰(zhàn)平臺實踐:技術(shù)挑戰(zhàn)–多樣化PaaS服務(wù)集成容器化大數(shù)據(jù)云平臺需要快速集成大數(shù)據(jù)類、數(shù)據(jù)庫及中間件類、數(shù)據(jù)集成工具類等多種PaaS能力。沒有統(tǒng)一的集成接口。KubernetesServiceCatalogBrokerAPIBrokerAPI1.基于業(yè)界先進的Open標(biāo)準(zhǔn)化接口快速對接各種PaaS組件平臺,匯聚各種為租戶賦能。2.基于KubernetesService和自定義資源原生技術(shù)實現(xiàn)對服務(wù)從開通到退訂的全生命周期管理。平臺實踐:技術(shù)挑戰(zhàn)–Kubernetes集群間網(wǎng)絡(luò)互通遇到問題:需在多個Kubernetes集群部署各類PaaS能力。大數(shù)據(jù)組件在容器化部署之后,服務(wù)相關(guān)的所有POD都是容器網(wǎng)絡(luò),自身暴露的通信端口在集群外都無法訪問,導(dǎo)致應(yīng)用通過大數(shù)據(jù)組件原生的API調(diào)用時遇到問題。解決方案:通過定制flanneld網(wǎng)絡(luò)插件,兩個K8S集群共用一決K8s集群間的網(wǎng)絡(luò)互通問題。 集群二集群一平臺實踐:技術(shù)挑戰(zhàn)–Hadoop容器化服務(wù)拆分遇到問題:采用多租戶的方式對外提供大數(shù)據(jù)服務(wù),每個租戶都是隔離的。這就要求需要在一個物理集群上能夠部署多套Hadoop集群。挑戰(zhàn)1.挑戰(zhàn)2.挑戰(zhàn)3.如何自動完成角色規(guī)劃?服務(wù)拆分之后,如何解決服務(wù)依賴以及服務(wù)發(fā)現(xiàn)問題?解決方案:1.將Hadoop按組件拆分成最小單位,確保能夠獨立部署;2.通過配置親和/反親和調(diào)度算法保證同一個集群的各個服務(wù)能夠合理部署,比如:同一集群的兩個Namenode不會調(diào)度在同一個物理機上;3.拆分完之后解決,服務(wù)之間的依賴和服務(wù)發(fā)現(xiàn)問題 ?服務(wù)之間通過DNS和配置注入進行服務(wù)發(fā)現(xiàn)?集群外的訪問通過 --NodePort平臺實踐:技術(shù)挑戰(zhàn)–Hadoop容器化計算本地化物理機部署的Nodemanger和Spark的Worker節(jié)點與Datanode都在相同的物理機上。?通過判斷IP是否一致決定是否進行本地讀寫容器化部署挑戰(zhàn)1:Executor與Datanode數(shù)據(jù)不同pod,如何保證同一個集群的Executor和Datanode分布在相同的物理主機上?平臺實踐:技術(shù)挑戰(zhàn)–Hadoop容器化計算本地化第一步:采用K8S親和性調(diào)度策略,確保統(tǒng)一集群的計算服務(wù)于Datanode調(diào)度到相同的物理機列表里。第二步:更改Yarn/Spark調(diào)度邏輯,判斷對應(yīng)的計算切片是否在同一臺host上。第三步:多個pod共享Domainsocket,而且每個租戶的hdfs的domainsocket互相獨立。 NamenodeSchedulerNamenodeScheduler平臺實踐:建設(shè)成效省分租戶44個子公司租戶入駐集團業(yè)務(wù)部門2部署4000余個容器服務(wù)實例,對100,000個事件跟蹤分析月均執(zhí)行MR/Spark任務(wù)162,455個,執(zhí)行數(shù)據(jù)調(diào)度任務(wù)發(fā)展委員會平臺實踐:后續(xù)探索方向-FaaS與云平臺“Serveless”的初衷是幫助開發(fā)者擺脫運行后端應(yīng)用程序所需的服務(wù)器設(shè)備的設(shè)置和管理工作,“FaaS”將“Serveless”這一框架提高到一個全新的層面,為云中運行的應(yīng)用程序提供了一種全新的系統(tǒng)體系結(jié)構(gòu),不需要在服務(wù)器上持續(xù)運行進程以等待HTTP請求或API調(diào)用,而是可以通過某種事件機制觸發(fā)代碼的執(zhí)行。上層快速底層靈活軟件平臺(SaaS)應(yīng)用平臺容器平臺(CaaS)基礎(chǔ)設(shè)施平臺(IaaS)客戶端-認證服務(wù)數(shù)據(jù)庫-認證服務(wù)數(shù)據(jù)庫API網(wǎng)關(guān)API網(wǎng)關(guān)數(shù)據(jù)庫優(yōu)勢?降低成本:開發(fā)者不需要為云中運行的整個服務(wù)器付費,只需要為執(zhí)行代碼過程中消耗的資源付費?縮放能力:可以通過事件觸發(fā)的方式輕松地對不同服務(wù)進行縮放,而無須考慮基礎(chǔ)結(jié)構(gòu)的運維和維護平臺實踐:后續(xù)探索方向-物聯(lián)網(wǎng)與云平臺物聯(lián)網(wǎng)和云計算以及大數(shù)據(jù)是密不可分的:?云平臺為大數(shù)據(jù)提供計算資源和海量數(shù)據(jù)的存儲能力?云平臺為物聯(lián)網(wǎng)應(yīng)用提供快速構(gòu)建和集成的能力?物聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量數(shù)據(jù)需要大數(shù)據(jù)平臺進行處理和分析持久化存儲物聯(lián)網(wǎng)通過信息傳感設(shè)備,按約定的協(xié)議物聯(lián)網(wǎng)和云計算以及大數(shù)據(jù)是密不可分的:?云平臺為大數(shù)據(jù)提供計算資源和海量數(shù)據(jù)的存儲能力?云平臺為物聯(lián)網(wǎng)應(yīng)用提供快速構(gòu)建和集成的能力?物聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量數(shù)據(jù)需要大數(shù)據(jù)平臺進行處理和分析持久化存儲數(shù)據(jù)管理數(shù)據(jù)管理設(shè)備管理 平臺實踐:總結(jié)與展望l建設(shè)面向大數(shù)據(jù)處理的統(tǒng)一云化資源池,提供豐富的PaaS組件,為大數(shù)據(jù)平臺構(gòu)建和應(yīng)用開發(fā)部署提供快捷、高效的環(huán)境l依托容器化大數(shù)據(jù)云平臺,沉淀一系列技術(shù)能力及組件集合,推進企業(yè)核心數(shù)據(jù)上云,構(gòu)建共性能力及通用服務(wù),打造企業(yè)級數(shù)據(jù)中臺,賦能前端應(yīng)用及BU團隊快速創(chuàng)新,支撐業(yè)務(wù)發(fā)展賦能前臺、創(chuàng)新發(fā)展賦能前臺、創(chuàng)新發(fā)展能力匯聚、協(xié)同運營打造企業(yè)級數(shù)據(jù)中臺多樣化能力建設(shè)與開放互聯(lián)網(wǎng)化協(xié)同運營能力匯聚、協(xié)同運營打造企業(yè)級數(shù)據(jù)中臺多樣化能力建設(shè)與開放互聯(lián)網(wǎng)化協(xié)同運營流處理框架批處理框架深度學(xué)習(xí)框架消息隊列異構(gòu)資源納管資源隔離資源調(diào)度異構(gòu)資源納管資源隔離資源調(diào)度智能管理、提升效能容器化大數(shù)據(jù)云平臺(Kubernetes+Docker)產(chǎn)品介紹:產(chǎn)品架構(gòu)舉措:構(gòu)建平臺數(shù)據(jù)資產(chǎn)管控能力,打造數(shù)據(jù)驅(qū)動能力,促進集團數(shù)字化轉(zhuǎn)型,引導(dǎo)數(shù)據(jù)集中運營,實現(xiàn)數(shù)據(jù)變現(xiàn)功能層運營層功能層運營層質(zhì)量規(guī)則管理質(zhì)量規(guī)則管理質(zhì)量規(guī)則檢查質(zhì)量問題管理 J JOracle生產(chǎn)平臺…產(chǎn)品介紹:資產(chǎn)注冊管理a.支撐:模型的右鍵新增功能、導(dǎo)入、導(dǎo)出、保存模型、另存為圖片、單個分發(fā)、批量分發(fā)、a.支撐:實現(xiàn)對企業(yè)的job開發(fā)流程定義變量:按秒、按分、按天、按月、按定a.支撐注冊的FTP服務(wù)器IP端口注冊和支撐:集群名稱、用戶組、系統(tǒng)目錄管理功支撐:集群名稱、用戶組、產(chǎn)品租戶的管理功支撐:集群的產(chǎn)品租戶、個人租戶和個人租戶組注產(chǎn)品介紹:資產(chǎn)注冊管理-產(chǎn)品效果圖產(chǎn)品介紹:建模開發(fā)、數(shù)說工廠、統(tǒng)一調(diào)度a.實現(xiàn)采集的源端系統(tǒng)接口注冊管理功能:新建、a.注冊管理采集的源端數(shù)據(jù)業(yè)務(wù)系統(tǒng)的信息:新建、a.支撐語義的ETL配置b.實現(xiàn)過程表、臨時表加工邏輯配置c.實現(xiàn)調(diào)度參數(shù)全局變量配置d.實現(xiàn)job的新增、保存a.實現(xiàn)源端數(shù)據(jù)源是oracle的數(shù)據(jù)進行抽取、裝載、落地、加a.實現(xiàn)源端數(shù)據(jù)源是mysql的數(shù)據(jù)進行抽取、裝載、落地、加a.實現(xiàn)數(shù)據(jù)質(zhì)量組件的拖拽開發(fā),在組件里面可以選稽核指標(biāo)組件和稽核規(guī)則組件b.實現(xiàn)組件的依賴連線,并實現(xiàn)開發(fā)面板實現(xiàn)手工重調(diào)任務(wù)功能,實現(xiàn)未運行、運行中、運行失敗、運行成功,等待運行,幾種狀態(tài)的掛起功能,喚產(chǎn)品介紹:建模開發(fā)、數(shù)說工廠、統(tǒng)一調(diào)度-產(chǎn)品效果圖度、JDBC實用工具、數(shù)據(jù)質(zhì)量、數(shù)據(jù)遷移、格式化組件產(chǎn)品特點:跨集群用戶管理中心集群集群-ALIYUN產(chǎn)品特點:統(tǒng)一調(diào)度,監(jiān)控下沉jobspodjobspodNodepod產(chǎn)品特點:安全管理?鏡像安全漏洞掃描??鏡像安全漏洞掃描?鏡像配置缺陷管理?鏡像中有惡意軟件?鏡像中有明文密鑰?使用了非信任鏡像?倉庫中有陳舊鏡像?訪問敏感數(shù)據(jù)鑒權(quán)?不安全連接和訪問?容器運行時漏洞管理?容器網(wǎng)絡(luò)訪問無隔離?容器運行時配置缺陷?容器承載的應(yīng)用漏洞?平臺中存有流氓容器品網(wǎng)絡(luò)安全?無界的管理員權(quán)限?授權(quán)訪問不夠嚴(yán)格?品網(wǎng)絡(luò)安全?無界的管理員權(quán)限?授權(quán)訪問不夠嚴(yán)格?敏感度差異容器負載混合?節(jié)點間互信關(guān)系?操作日志審計?業(yè)務(wù)間訪問通斷控制?非同類網(wǎng)絡(luò)流量分離?負載均衡的加密訪問?基于SSL傳輸加密e?宿主機可被攻擊面大?容器共享kernel風(fēng)險?宿主機操作系統(tǒng)漏洞?宿主機用戶訪問權(quán)限?宿主機文件系統(tǒng)篡改案例一:某省超大規(guī)模集群建設(shè)DCN網(wǎng)機房1機房3機房1機房3SparkImpala SparkStreaming/FlinkHDFS案例二:某省電信全域數(shù)據(jù)融合建設(shè)元數(shù)據(jù)覆蓋度從30%上升至98%人員培訓(xùn)周期由3個月縮短至5天元數(shù)據(jù)覆蓋度從30%上升至98%人員培訓(xùn)周期由3個月縮短至5天質(zhì)量持續(xù)改進問題查證率提高50%節(jié)約人力資源成本30%類別末端原因人員缺少對現(xiàn)有系統(tǒng)學(xué)習(xí)手段離職或變動數(shù)據(jù)源數(shù)據(jù)自相矛盾復(fù)雜規(guī)則設(shè)有被充分理解變更帶來質(zhì)量問題開發(fā)過程時間太緊張業(yè)務(wù)規(guī)則理解錯誤需求理解不準(zhǔn)確缺少測試標(biāo)準(zhǔn)和方法質(zhì)量管理質(zhì)量監(jiān)控規(guī)則不好把握系統(tǒng)構(gòu)架設(shè)計中缺少質(zhì)量考慮質(zhì)量監(jiān)控帶來過多性能開銷1234優(yōu)化構(gòu)架質(zhì)量控制案例二:某省電信全域數(shù)據(jù)融合建設(shè)通過企業(yè)級數(shù)據(jù)中心對BOM域數(shù)據(jù)匯聚,建立三域融合的一站式指標(biāo)管理體系,為各級管理者、分析人員、一線人員提供全面、快速應(yīng)用服務(wù)支持………………客戶服務(wù)客戶服務(wù)…………l基站斷站率業(yè)務(wù)指標(biāo)案例二:某省電信全域數(shù)據(jù)融合建設(shè)整體規(guī)劃思路:融入數(shù)據(jù)資產(chǎn)理念的一張皮、兩條線和全覆蓋的數(shù)據(jù)中心元數(shù)據(jù)管理元數(shù)據(jù)管理標(biāo)準(zhǔn)化管理生命周期管理數(shù)據(jù)質(zhì)量管理“管理”和“執(zhí)行”一體化以標(biāo)準(zhǔn)化為核心,構(gòu)建一個大數(shù)據(jù)的“操作系統(tǒng)”數(shù)據(jù)崗位數(shù)據(jù)崗位CTO|管理員|開發(fā)人員|質(zhì)量管理員…加工質(zhì)檢采集…加工質(zhì)檢采集關(guān)鍵因素標(biāo)準(zhǔn)化組件化可視化建模運營管理者生態(tài)規(guī)則制訂運營管理者生態(tài)規(guī)則制訂應(yīng)用開發(fā)者應(yīng)用開發(fā)者構(gòu)建應(yīng)用程序應(yīng)用程序形成容器開發(fā)企業(yè)級數(shù)據(jù)整合提取數(shù)據(jù)各業(yè)務(wù)部門應(yīng)用使用提取數(shù)據(jù)各業(yè)務(wù)部門應(yīng)用使用平臺使用者平臺使用者平臺設(shè)計、開發(fā)?統(tǒng)一數(shù)據(jù)模型?創(chuàng)建共享組件?創(chuàng)建自助式門戶數(shù)據(jù)湖-傳統(tǒng)架構(gòu)的變遷傳統(tǒng)數(shù)據(jù)倉庫psps?新一代大數(shù)據(jù)中心TransactiowarehousessTransactiowarehousess Streamss為什么要引入數(shù)據(jù)湖?現(xiàn)狀集團“1+N”戰(zhàn)略,要求四川電信作為先進省分保持?jǐn)?shù)據(jù)中心架構(gòu)穩(wěn)定性和前瞻性數(shù)據(jù)湖,以低成本收集并存儲任何規(guī)模、所有類型的數(shù)據(jù)并安全提供使用,符合中國電信對”N”省分?jǐn)?shù)據(jù)中心建設(shè)高安全、耐久、可用、可擴展性的要求光網(wǎng)、無線數(shù)據(jù)及企業(yè)外部數(shù)據(jù)亟待收集,對非(半)結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)的處理缺乏經(jīng)驗數(shù)據(jù)湖,支持對非結(jié)構(gòu)化、流式數(shù)據(jù)進行對象存儲和持久化,并支持?jǐn)?shù)據(jù)對象的快速檢索、實時訪問數(shù)據(jù)匯聚的復(fù)雜度增加,面臨數(shù)據(jù)接口類型超過10種,前端業(yè)務(wù)要求數(shù)據(jù)中心具備實時數(shù)據(jù)處理能力數(shù)據(jù)湖,可快速輕松地執(zhí)行新類型的數(shù)據(jù)統(tǒng)一匯聚和分析,支持新接口類型包括如corba、socket、snmp、tmf、SFTP、SSH等,支持秒級、毫秒級數(shù)據(jù)處理能力數(shù)據(jù)資產(chǎn)管理的難度增加,面臨全生態(tài)數(shù)據(jù)(B\O\M域,網(wǎng)絡(luò)、外部等)進行的統(tǒng)一、有效管理,無成例可循數(shù)據(jù)湖,基于“注冊”機制,任何入湖的數(shù)據(jù)都將注冊到資產(chǎn)目錄進行統(tǒng)一管理,同時具備自行更新和管理數(shù)據(jù)對象索引、元數(shù)據(jù)的能力,方便進行開放使用生態(tài)圈融合業(yè)務(wù)發(fā)展,驅(qū)動數(shù)據(jù)資產(chǎn)價值的發(fā)掘,對數(shù)據(jù)中心具備對復(fù)雜事件的處理和分析能力數(shù)據(jù)湖,適合lambda架構(gòu)設(shè)計,支持使用一系列分析引擎,用于高級數(shù)據(jù)分析、實時流式+批量數(shù)據(jù)復(fù)合分析、預(yù)測性分析、人工智能(AI)和機器學(xué)習(xí)等場景如何構(gòu)建數(shù)據(jù)湖?44將數(shù)據(jù)湖開放給用戶程序化的查詢目錄將數(shù)據(jù)湖開放給用戶程序化的查詢目錄確保授權(quán)是得到認可的3數(shù)據(jù)加密保護身份驗證和授權(quán)訪問控制和限制2元數(shù)據(jù)湖2用于概括性的統(tǒng)計和數(shù)據(jù)數(shù)據(jù)發(fā)現(xiàn)和管理的簡化模型采集和存儲高可靠按照輸入源存儲原數(shù)據(jù)支持任何類型的數(shù)據(jù)價格低廉?dāng)?shù)據(jù)湖—資產(chǎn)注冊即采集高可靠按照輸入源存儲原數(shù)據(jù)支持任何類型的數(shù)據(jù)價格低廉ConnectorConnectorSnowballsAWSDirectConnectAmazonKinesisFirehoseS3TransferAccelerationAWSStorageGatewayAWS作為公有云提供面向互聯(lián)網(wǎng)的數(shù)據(jù)安全、數(shù)據(jù)高吞吐量、數(shù)據(jù)加速傳輸?shù)幕A(chǔ)設(shè)施能力,而采集能力實現(xiàn)使用者自定義完成某電信數(shù)據(jù)中心面向企業(yè)級應(yīng)用支撐(私有云需要提供面向企業(yè)級統(tǒng)一的數(shù)據(jù)入湖規(guī)范和資產(chǎn)注冊能力,同時也提供企業(yè)級統(tǒng)一的采集能力,實現(xiàn)資產(chǎn)注冊即采集數(shù)據(jù)源企業(yè)級統(tǒng)一的Collect數(shù)據(jù)資產(chǎn)管控平臺數(shù)據(jù)源企業(yè)級統(tǒng)一的Collect數(shù)據(jù)資產(chǎn)管控平臺統(tǒng)一數(shù)據(jù)入湖資產(chǎn)注冊適配平臺統(tǒng)一提供Databases、Files、Streams類采集組件,并通過“數(shù)據(jù)管控API”將采集的數(shù)據(jù)資產(chǎn)信息,自動注冊到數(shù)據(jù)資產(chǎn);特殊接口可繼承“自定義”采集框架,完成自定義采集方式、邏輯實現(xiàn),但需注冊來源與格式、入湖目標(biāo)與格式信息。數(shù)據(jù)湖—數(shù)據(jù)源接入保障為保障數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)運行的穩(wěn)定性與可靠性,數(shù)據(jù)源接入層面應(yīng)該優(yōu)先要建立起完善的保障機制,目前,數(shù)據(jù)中心已經(jīng)編制了與各系統(tǒng)接入的接口規(guī)范,但規(guī)范落地推進相對緩慢,無法滿足業(yè)務(wù)保障的要求。制定規(guī)范題存在的問為保障數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)運行的穩(wěn)定性與可靠性,數(shù)據(jù)源接入層面應(yīng)該優(yōu)先要建立起完善的保障機制,目前,數(shù)據(jù)中心已經(jīng)編制了與各系統(tǒng)接入的接口規(guī)范,但規(guī)范落地推進相對緩慢,無法滿足業(yè)務(wù)保障的要求。制定規(guī)范題存在的問系統(tǒng) 握手機制保障系統(tǒng)握手機制保障源握手機制系統(tǒng)保障系統(tǒng)采集和存儲1、源系統(tǒng)提供數(shù)據(jù)不穩(wěn)定,導(dǎo)致前端業(yè)務(wù)使用數(shù)據(jù)不及時,不準(zhǔn)確。2、接口建立不規(guī)范,無相互握手機制,數(shù)據(jù)提供延遲,導(dǎo)致數(shù)據(jù)中心補錄數(shù)據(jù)流程繁瑣、復(fù)雜。3、接口規(guī)范推進困難,源系統(tǒng)配合改造力度低下。數(shù)據(jù)湖—數(shù)據(jù)湖的存儲能力高可靠按照輸入源存儲原數(shù)據(jù)支持任何類型的數(shù)據(jù)價格低廉Aws存儲架構(gòu)AmazonElasticsearchAmazonElasticsearchServiceSearchElastiCacAmazonDynamoDElastiCacAmazonDynamoDBAccessAmazonGlacierArchiveAmazonGlacierArchiveAmazonS3AmazonRDSAmazonAmazonRDSAmazonRedshiftAmazonMachineLearningAmazon ElasticMapReduceQueryProcessQueryProcess什么類型的數(shù)據(jù)存儲在數(shù)據(jù)湖中?2.半結(jié)構(gòu)化數(shù)據(jù)3.結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)中心的存儲架構(gòu)elasticsearch.Archive數(shù)據(jù)湖—數(shù)據(jù)湖的目錄與搜索處理和批處理統(tǒng)一視圖的能力。元數(shù)據(jù)湖用于概括性的統(tǒng)計和數(shù)據(jù)分類管理數(shù)據(jù)發(fā)現(xiàn)和管理的簡化模型22:完善資產(chǎn)管理平臺在“數(shù)據(jù)湖”層面“數(shù)據(jù)目錄與注冊”的管控能力結(jié)構(gòu)化數(shù)據(jù)的查詢和檢索能力數(shù)據(jù)湖—批處理和流處理的融合-Lambda架構(gòu),助力牟電信構(gòu)建敏捷化的大數(shù)據(jù)平臺。位置服務(wù)場景:位置信令數(shù)據(jù)位置信令全量信息用戶歷史軌跡視圖批處理(循環(huán)重新計算)批處理層用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖查詢獲取用戶軌跡視圖合并服務(wù)層實時計算視圖用戶實時軌跡視圖1用戶實時軌跡視圖2實時計算(增量計算)用戶位置流處理用戶實時軌跡視圖當(dāng)前大數(shù)據(jù)平臺隨著數(shù)據(jù)量的快速增長,數(shù)據(jù)種類多樣化,應(yīng)用更加豐富,導(dǎo)致數(shù)據(jù)分析的時架構(gòu),助力牟電信構(gòu)建敏捷化的大數(shù)據(jù)平臺。位置服務(wù)場景:位置信令數(shù)據(jù)位置信令全量信息用戶歷史軌跡視圖批處理(循環(huán)重新計算)批處理層用戶歷史軌跡視圖1用戶歷史軌跡視圖2批處理視圖查詢獲取用戶軌跡視圖合并服務(wù)層實時計算視圖用戶實時軌跡視圖1用戶實時軌跡視圖2實時計算(增量計算)用戶位置流處理用戶實時軌跡視圖Lambda框架介紹:1.Lambda整合離線計算和實時計算,集成2.Lambda實現(xiàn)了真正的流處理、批處理混合,同時統(tǒng)一了編程接口,使得整體處理架構(gòu)簡單化。3.架構(gòu)組件選型:根據(jù)四川電信業(yè)務(wù)特點,實時流數(shù)據(jù)采用Kafka框架,批處理層存儲采用數(shù)據(jù)湖HDFS;計算采用MapReduce或者Spark;實時處理層采取Storm或者SparkStreaming,存儲采用Redis;服務(wù)層查詢少量的結(jié)果數(shù)據(jù)數(shù)據(jù)湖—非結(jié)構(gòu)數(shù)據(jù)檢索工具數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)圖像文件數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)圖像文件網(wǎng)頁文件日志聲音文件其他知識庫檢索平臺統(tǒng)一計算Solr(全文檢索工具)n數(shù)據(jù)檢索工具數(shù)據(jù)源包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù),主要功能包括分詞檢索、排序、字段組合等功能。統(tǒng)一存儲Hbase(小文件、結(jié)構(gòu)化數(shù)據(jù))數(shù)據(jù)湖—授權(quán)33數(shù)據(jù)加密保護身份驗證和授權(quán)訪問控制和限制?Kerberos?knox建立完整的數(shù)據(jù)湖安全體系?Ranger?Ranger?Ranger?Solr?HDFS通過Ambari,Ranger實現(xiàn)集中配置和管理?數(shù)據(jù)傳輸?數(shù)據(jù)存儲數(shù)據(jù)湖—服務(wù)API能力與UI將數(shù)據(jù)湖開放給用戶程序化的查詢目錄開放搜索API確保授權(quán)是得到認可的4sAWSsAWS數(shù)據(jù)湖—數(shù)據(jù)湖內(nèi)數(shù)據(jù)的API封裝API路由結(jié)果數(shù)據(jù)格式轉(zhuǎn)換認證與權(quán)限調(diào)用API返回結(jié)果數(shù)據(jù)結(jié)果數(shù)據(jù)脫敏加密數(shù)據(jù)湖訪問控制“API封裝“圍繞認證與權(quán)限檢驗,訪問控制,數(shù)據(jù)脫敏等過程,通過注冊信息,針對結(jié)果數(shù)據(jù)設(shè)置個性化的脫敏規(guī)則及用戶數(shù)據(jù)授權(quán)規(guī)則,在實際調(diào)用時即可對返回數(shù)據(jù)進行安全控制API路由結(jié)果數(shù)據(jù)格式轉(zhuǎn)換認證與權(quán)限調(diào)用API返回結(jié)果數(shù)據(jù)結(jié)果數(shù)據(jù)脫敏加密數(shù)據(jù)湖訪問控制數(shù)據(jù)湖的API封裝過程數(shù)據(jù)湖—統(tǒng)一的平臺可視化訪問界面OCUE能做什么?博瑞得大數(shù)據(jù)平臺用戶操作界面(OCUE)是面向大數(shù)據(jù)平臺用戶的可視化操作界面。用戶可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互分析處理數(shù)據(jù),例如操作HDFS上的數(shù)據(jù),運行MapReduceJob等。雖然大數(shù)據(jù)平臺各組件都有自己的使用方式和開發(fā)接口,比如Hive提供的命令行終端,但是當(dāng)用戶需要訪問多個組件時,需要打開不同的終端或者界面,需要登錄不同的系統(tǒng)。OCUE統(tǒng)一了各個項目的開發(fā)方式,提供了一個web的界面來開發(fā)和調(diào)試任務(wù),OCUE能做什么?1,訪問HDFS和文件瀏覽2,通過web調(diào)試和開發(fā)hive以及數(shù)據(jù)結(jié)果展示3,查詢solr和結(jié)果展示,報表生成4,通過web調(diào)試和開發(fā)impala交互式SQLQuery7,oozie任務(wù)的開發(fā),監(jiān)控,和工作流協(xié)調(diào)調(diào)度8,Hbase數(shù)據(jù)查詢和修改,數(shù)據(jù)展示10,MapReduce任務(wù)進度查看,日志追蹤11,創(chuàng)建和提交MapReduce,Streaming,Javajob任務(wù)12,Sqoop2的開發(fā)和調(diào)試13,Zookeeper的瀏覽和編輯數(shù)據(jù)湖—專題與應(yīng)用:風(fēng)控專題寬帶虛假用戶識別寬帶虛假用戶識別專題分析模型支撐:為利劍、寬帶、ITV、體驗卡建立風(fēng)險數(shù)據(jù)模型,協(xié)助業(yè)管部門完成風(fēng)險分析及清單下發(fā)。專題分析專題分析:根據(jù)分析結(jié)果進行可視化專題的設(shè)計,通過不同視角對風(fēng)險進行監(jiān)控和識別。深度洞察:利用數(shù)據(jù)挖掘技術(shù),對寬帶虛假用戶的識別,協(xié)助業(yè)務(wù)部門完成寬帶風(fēng)險的監(jiān)控。目標(biāo):建立完整風(fēng)控體制,管控信息數(shù)據(jù)的采集、傳遞、使用和存儲。建立智能風(fēng)控體系,實現(xiàn)各級業(yè)務(wù)部門對客戶價值、質(zhì)量管理。數(shù)據(jù)湖—專題與應(yīng)用:收入保障收入保障專業(yè)及深度應(yīng)用用戶收入全視圖監(jiān)控報表及分析深度應(yīng)用專業(yè)及深度應(yīng)用用戶收入全視圖監(jiān)控報表及分析深度應(yīng)用代理商CRM計費結(jié)算用戶收入全視圖監(jiān)控報表及分析收入預(yù)測收入預(yù)測發(fā)展效益發(fā)展效益活動評估活動評估決策支撐決策支撐數(shù)據(jù)湖—專題與應(yīng)用:IPTV專題分析整合基礎(chǔ)上,利用資產(chǎn)管理平臺的各具有跨系統(tǒng)、準(zhǔn)實時、和面向生產(chǎn)的業(yè)務(wù)目標(biāo)業(yè)務(wù)目標(biāo)平臺統(tǒng)一整合整合IPTV業(yè)務(wù)平臺數(shù)據(jù),進行匯總和整合,以構(gòu)建多層次業(yè)務(wù)分析體系,多維度的業(yè)務(wù)分析模型數(shù)據(jù)匯總分析基本數(shù)據(jù)分析功能,包含客戶統(tǒng)一視圖,用戶行為分析,信息查詢,常規(guī)的統(tǒng)計分析功能以及可視化動態(tài)展現(xiàn)功能業(yè)務(wù)價值挖掘為營銷提供精準(zhǔn)運營管理,通過用戶畫像,根據(jù)用戶興趣內(nèi)容和行為畫像進行推薦,服務(wù)用戶,使用戶能體驗到更個性的差異化服務(wù)ITV手機門戶門戶專題實時大屏推薦服務(wù)數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用模塊……資產(chǎn)管理資產(chǎn)管理平臺數(shù)據(jù)湖—專題與應(yīng)用:光網(wǎng)及無線專題分析在光網(wǎng)、無線大數(shù)據(jù)接入的基礎(chǔ)上,結(jié)合數(shù)據(jù)中心資產(chǎn)管理平臺的各項能力,構(gòu)建可視化的光網(wǎng)、無線專題分析,通過報表、可視化圖形和自動生成分析報告的方式,為業(yè)務(wù)運營提供數(shù)據(jù)分析依據(jù)。應(yīng)用層模型層網(wǎng)元事態(tài)感知模型網(wǎng)元事態(tài)感知模型網(wǎng)元差異化分析模型網(wǎng)元差異化分析模型網(wǎng)元健康度評估模型網(wǎng)元健康度評估模型……數(shù)據(jù)湖—專題與應(yīng)用:對作業(yè)計劃的電子運維提供數(shù)據(jù)與能力支撐采集規(guī)則及指標(biāo)規(guī)則在作業(yè)計劃管理,調(diào)用資產(chǎn)管理平臺“抽取語義”與“計算語義”能力完成性能指標(biāo)采集加工,為作業(yè)計劃中的電子運維的“計劃呈現(xiàn)結(jié)果應(yīng)用”與“計劃巡檢派單”提供數(shù)據(jù)支撐計劃基礎(chǔ)設(shè)備生成設(shè)備指標(biāo)項目計算計劃基礎(chǔ)設(shè)備生成設(shè)備指標(biāo)項目計算公式后臺截取計算確定計劃作業(yè)計劃計劃呈現(xiàn)結(jié)果查詢計劃巡檢派單集中操作集中操作數(shù)據(jù)中心數(shù)據(jù)湖計算語義數(shù)據(jù)中心數(shù)據(jù)湖計算語義抽取語義工統(tǒng)一采集適配(設(shè)備資料、各項指標(biāo)采集等)管為什么要引入數(shù)據(jù)資產(chǎn)管理?核心問題:數(shù)據(jù)混亂、數(shù)據(jù)盲區(qū)、數(shù)據(jù)缺乏安全管控、無法支撐上層應(yīng)用、無法數(shù)據(jù)運營、無法挖掘數(shù)據(jù)價值實現(xiàn)數(shù)據(jù)變現(xiàn)。aws核心問題:數(shù)據(jù)被盜無法溯源、個人信息泄密、數(shù)據(jù)無權(quán)限層級控制、數(shù)據(jù)被攻擊篡改無法追責(zé)aws核心問題:數(shù)據(jù)被盜無法溯源、個人信息泄密、數(shù)據(jù)無權(quán)限層級控制、數(shù)據(jù)被攻擊篡改無法追責(zé)數(shù)據(jù)資產(chǎn)管理能做什么?金融金融型數(shù)字政府制造交通.制造交通.能源零售能源零售中臺建設(shè)數(shù)據(jù)安全平臺規(guī)劃一站式AI建模中臺建設(shè)數(shù)據(jù)安全平臺規(guī)劃一站式AI建模大數(shù)據(jù)平臺規(guī)劃行業(yè)專題建模數(shù)據(jù)采集數(shù)據(jù)安全治理數(shù)據(jù)服務(wù)保護數(shù)倉建模開發(fā)數(shù)字企業(yè)規(guī)劃平臺搭建開發(fā)行業(yè)專題建模數(shù)據(jù)采集數(shù)據(jù)安全治理數(shù)據(jù)服務(wù)保護數(shù)倉建模開發(fā)數(shù)字企業(yè)規(guī)劃平臺搭建開發(fā)智慧城市建設(shè)…平臺運維托管智慧城市建設(shè)…平臺運維托管數(shù)據(jù)指標(biāo)集市安全分析感知大數(shù)據(jù)技術(shù)培訓(xùn)數(shù)據(jù)指標(biāo)集市安全分析感知大數(shù)據(jù)技術(shù)培訓(xùn)產(chǎn)品2021年總體規(guī)劃:產(chǎn)品能做什么?數(shù)據(jù)安全全生命周期管理平臺大數(shù)據(jù)智能決策平臺數(shù)據(jù)安全全生命周期管理平臺大數(shù)據(jù)智能決策平臺專題建模大數(shù)據(jù)平臺集成服務(wù)行業(yè)垂直數(shù)據(jù)采集組件化DPI+全行業(yè)數(shù)據(jù)采集覆蓋運營商、行業(yè)垂直數(shù)據(jù)采集組件化DPI+全行業(yè)數(shù)據(jù)采集覆蓋運營商、可嵌入網(wǎng)絡(luò)管道、邊緣計算設(shè)備及家庭、政企網(wǎng)關(guān)、虛擬化、云化網(wǎng)絡(luò)、智慧園區(qū)、數(shù)字化行業(yè)采集全行業(yè)數(shù)據(jù)融合運營商DPI?采集組件解析組件識別組件?處理組件?聚合組件?輸出組件產(chǎn)品介紹一:一站式大數(shù)據(jù)平臺集成服務(wù)大數(shù)據(jù)平臺集成服務(wù)產(chǎn)品介紹:主要面向全行業(yè)大型或特大型行業(yè)企業(yè),如電信/政府/能源/交通等。提供平臺設(shè)計、規(guī)劃、搭建、定制開產(chǎn)品價值:主要價值是為企業(yè)客戶提供平臺咨詢、規(guī)劃、建設(shè)、運維、定制開發(fā)、技術(shù)培訓(xùn)等一站式服務(wù)。向企業(yè)上層應(yīng)用提供數(shù)據(jù)支撐、??平臺運維?數(shù)據(jù)維護?技術(shù)培訓(xùn)適用已有平臺項目,模塊按需部署升級+維護+技術(shù)培訓(xùn)+平臺托管服務(wù)平臺建設(shè)平臺建設(shè)?設(shè)計規(guī)劃?平臺搭建?定制開發(fā)適用無平臺全新建設(shè)項目,設(shè)計規(guī)劃+平臺搭建+定制開發(fā)服務(wù)l設(shè)計規(guī)劃:根據(jù)數(shù)據(jù)規(guī)模、機房位置、設(shè)備配置、應(yīng)用需求進行技術(shù)和架構(gòu)選型,并輸出平臺建設(shè)方案,技術(shù)具有前瞻性,提供企業(yè)頂層設(shè)計規(guī)劃服l平臺搭建:根據(jù)平臺建設(shè)方案,搭建大數(shù)據(jù)平臺,包括平臺服務(wù)器配置、數(shù)據(jù)接入、數(shù)據(jù)存儲,并且根據(jù)應(yīng)用需求搭建離線計算引擎和流計算引擎。l定制開發(fā):提供定制開發(fā)的能力,例如應(yīng)用孵化、預(yù)統(tǒng)模型、數(shù)據(jù)合成、平臺托管平臺托管l平臺運維:對完成建設(shè)后的大數(shù)據(jù)平臺進行運維保障,提供7*24小時服務(wù),監(jiān)控平臺的服務(wù)、數(shù)據(jù)、權(quán)限、任務(wù)和租戶。l數(shù)據(jù)維護:根據(jù)業(yè)務(wù)對數(shù)據(jù)的使用,分析數(shù)據(jù)訪問量和對數(shù)據(jù)的使用情況,對數(shù)據(jù)存儲、使用進行統(tǒng)一監(jiān)控和維l技術(shù)培訓(xùn):為客戶提供技術(shù)培訓(xùn),包括大數(shù)據(jù)原理、架構(gòu)、組件、前沿技術(shù),也可提供人力外派咨詢服務(wù)。產(chǎn)品介紹二:數(shù)據(jù)安全全生命周期管理平臺數(shù)據(jù)安全全生命周期管理平臺:主要面向大型或特運營層運營層運營商大型企業(yè)數(shù)字政府物聯(lián)網(wǎng)數(shù)字政府運營商數(shù)據(jù)資產(chǎn)應(yīng)用運營商大型企業(yè)數(shù)字政府物聯(lián)網(wǎng)數(shù)字政府運營商數(shù)據(jù)資產(chǎn)應(yīng)用數(shù)字政府智慧教育運營商功能層功能層數(shù)據(jù)處理類|數(shù)據(jù)交換類|文件操作類|數(shù)據(jù)查詢類|數(shù)據(jù)安全類|(函數(shù)適配器)采集適配層___-------"___-------"達夢數(shù)據(jù)庫、人大金倉數(shù)據(jù)庫、Oracle、SQLServer、產(chǎn)品介紹三:一站式大數(shù)據(jù)平臺集成服務(wù)地下空間安全治理大腦…智慧城市治理大腦消防安全治理大腦地下空間安全治理大腦…智慧城市治理大腦消防安全治理大腦智能決策平臺數(shù)據(jù)智能決策平臺數(shù)據(jù)層語義倉庫數(shù)說工廠

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論