四方偉業(yè)政務大數(shù)據(jù)建設

政務大數(shù)據(jù)建設與應用解析地方政府政務大數(shù)據(jù)建設路徑與解決方案CONTENT1當政務應用遇到大數(shù)據(jù)2退而結網(wǎng)，打造大數(shù)據(jù)湖泊3大數(shù)據(jù)平臺、架構與實現(xiàn)4大數(shù)據(jù)可視化，看得見的數(shù)據(jù)5成都四方偉業(yè)公司簡介走進大數(shù)據(jù)時代交通運輸運輸線路優(yōu)化交通信息服務數(shù)字媒休互聯(lián)網(wǎng)廣告用戶標簽零售業(yè)O2O營銷客流與商圈選址醫(yī)療與保健病歷分析疾病監(jiān)測政府政務網(wǎng)上辦事大廳政務熱線地產(chǎn)中介社區(qū)O2O運營客戶畫像電信運營商內(nèi)部營銷決策對外拓展互聯(lián)網(wǎng)企業(yè)開放平臺應用產(chǎn)品銀行業(yè)精準營銷風險管控教育在線教育教育應用電信政務商業(yè)工業(yè)重點行業(yè)大數(shù)據(jù)應用生命周期數(shù)據(jù)源（管理、交易、事務、傳感、監(jiān)控、文件……）數(shù)據(jù)獲取和治理大數(shù)據(jù)存儲大數(shù)據(jù)分析計算處理大數(shù)據(jù)可視化數(shù)據(jù)驅(qū)動決策數(shù)據(jù)提供服務大數(shù)據(jù)，不再是傳統(tǒng)的BI競爭優(yōu)勢數(shù)據(jù)可視化樣本數(shù)據(jù)關聯(lián)關系多維分析統(tǒng)計報表全體數(shù)據(jù)趨勢預測全體數(shù)據(jù)代替樣本數(shù)據(jù)

一般是基于KPI指標等的分析，無法有效支撐決策提供傳統(tǒng)的統(tǒng)計分析功能，提供報表等…傳統(tǒng)基于小數(shù)據(jù)量的數(shù)據(jù)分析，樣本數(shù)據(jù)注重關聯(lián)關系而非因果關系數(shù)據(jù)可視化變得尤為重要大數(shù)據(jù)的重點是關聯(lián)關系與趨勢預測大數(shù)據(jù)分析助力提升行業(yè)綜合數(shù)據(jù)應用能力大數(shù)據(jù)關注點

傳統(tǒng)數(shù)據(jù)分析局限數(shù)據(jù)獲取因子分析算法訓練數(shù)據(jù)呈現(xiàn)經(jīng)濟運行大數(shù)據(jù)保駕十三五區(qū)域經(jīng)濟2341支撐領導科學決策，提高經(jīng)濟運行管理水平：從宏觀、中觀、微觀三個層面，對區(qū)域經(jīng)濟運行相關指標進行實時動態(tài)監(jiān)測和預警，從產(chǎn)業(yè)、行業(yè)、區(qū)域、時間多維度，實時了解區(qū)域經(jīng)濟運行狀態(tài)，及重點企業(yè)的運行情況和重大工程建設進度情況。融合企業(yè)服務鏈信息，提升服務，促進發(fā)展，提質(zhì)增效：全面的了解企業(yè)的分布、規(guī)模，產(chǎn)業(yè)布局和各企業(yè)的關聯(lián)度，更好的走循環(huán)經(jīng)濟道路。融合創(chuàng)業(yè)服務相關的信息，包括政府相關優(yōu)惠政策、金融貸款信息、培訓機構及人才信息、創(chuàng)業(yè)項目信息、公共資源、城市人口流動信息等，為企業(yè)創(chuàng)業(yè)提供全面的信息服務。共享經(jīng)濟運行數(shù)據(jù)，提高跨部門工作效率：各部門重復采集企業(yè)經(jīng)濟運行數(shù)據(jù)、無法信息共享；例如：部門在給企業(yè)相關扶持時，需要企業(yè)報送相關人才數(shù)據(jù)，通過共享人社部門數(shù)據(jù)后，可以驗證企業(yè)報送數(shù)據(jù)的真實性。大數(shù)據(jù)把關，提升招商引資效能和促進產(chǎn)業(yè)結構調(diào)整：建立事前（項目落地）、事中（企業(yè)的績效綜合評價）、事后（低效退出）全過程的差別化管理措施，對園區(qū)樓宇基礎設施效能投入產(chǎn)出進行進行統(tǒng)計分析和查詢。為園區(qū)產(chǎn)業(yè)結構轉(zhuǎn)型升級、招商引資、企業(yè)發(fā)展扶持等政策的制定和調(diào)整，提供量化決策依據(jù)。經(jīng)濟運行模型業(yè)務模式優(yōu)化業(yè)務分析關鍵業(yè)務監(jiān)控關鍵業(yè)務模型化（實時）企業(yè)運營綜合評價（月度）產(chǎn)業(yè)類型所屬區(qū)域企業(yè)性質(zhì)稅收吸納勞動力土地占用能源消耗污染排放地區(qū)GDP增長（年度）出口內(nèi)需固定資產(chǎn)投資畝均稅收/收入人均稅收/收入?yún)^(qū)域產(chǎn)業(yè)……單位GDP排放單位GDP能耗宏觀：聚焦經(jīng)濟運行總體態(tài)勢中觀：經(jīng)濟領域與行業(yè)總體把脈微觀：聚焦具體企業(yè)監(jiān)管與服務指定范圍的經(jīng)濟KPI統(tǒng)計數(shù)據(jù)地域、產(chǎn)業(yè)、時間周期、經(jīng)濟類別…多維度切分經(jīng)濟測算范圍服務于主管領導宏觀經(jīng)濟政策制定、決策指定行業(yè)的經(jīng)濟KPI統(tǒng)計數(shù)據(jù)地域、產(chǎn)業(yè)、時間周期、經(jīng)濟類別…多維度切分經(jīng)濟測算范圍服務于主管領導宏觀經(jīng)濟政策制定、決策多級數(shù)據(jù)指標，透視企業(yè)運行狀態(tài)市場供需、技術創(chuàng)新、投資政策…多維數(shù)據(jù)服務區(qū)域經(jīng)濟運行大數(shù)據(jù)應用企業(yè)綜合評價為載體，運用大數(shù)據(jù)技術，對現(xiàn)存發(fā)展不和諧的要素，進行原因分析；政策的制訂對產(chǎn)業(yè)發(fā)展的影響，進行科學預測。對區(qū)域經(jīng)濟發(fā)展的宏觀、中觀、微觀性指標進行實時動態(tài)監(jiān)測。從產(chǎn)業(yè)、行業(yè)、區(qū)域、時間多維度，實時了解城市經(jīng)濟運行狀態(tài)，及不同產(chǎn)業(yè)、行業(yè)、企業(yè)運行情況。全面、準確、及時掌握所轄區(qū)域企業(yè)綜合發(fā)展概況和評價排名，為全域產(chǎn)業(yè)轉(zhuǎn)型升級、招商引資、企業(yè)發(fā)展扶持等政策的制定和調(diào)整，提供量化決策依據(jù)。政務大數(shù)據(jù)著力點由封閉管理向開放治理轉(zhuǎn)變由單向管理向協(xié)同治理轉(zhuǎn)變由被動響應向主動服務轉(zhuǎn)變由定性管理向定量管理轉(zhuǎn)變由粗放管理向精準化管理轉(zhuǎn)變由運動式管理向常規(guī)性管理轉(zhuǎn)變政務大數(shù)據(jù)促進變革社會治理思維的變革社會治理手段的改進政府決策技術的進步風險掌控能力的提升公共管理流程的再造社會協(xié)同治理的進階能力提升目標科學決策精細管理精準服務政務大數(shù)據(jù)應用目標法治政府創(chuàng)新政府廉潔政府智慧政府服務型政府創(chuàng)新型政府戰(zhàn)略區(qū)域發(fā)展指標體系區(qū)域KPI經(jīng)濟活力指數(shù)新注冊公司數(shù)美麗城市指數(shù)民生幸福指數(shù)網(wǎng)絡輿情指數(shù)網(wǎng)上政務指數(shù)人口活力指數(shù)經(jīng)濟轉(zhuǎn)型矩陣科技活力指數(shù)消費活力指數(shù)文化活力指數(shù)旅游活力指數(shù)新注銷公司數(shù)新注冊公司資本金總額注冊新產(chǎn)品新注冊網(wǎng)站數(shù)活躍網(wǎng)站數(shù)子主題（5）新批用地面積用電量通信量交通活躍度項目審批額企業(yè)招聘人員數(shù)人均網(wǎng)絡購書額人均網(wǎng)絡閱讀數(shù)電視收視率指數(shù)人均上網(wǎng)時間圖書出版數(shù)來自旅游大數(shù)據(jù)專利申請數(shù)專利公開數(shù)專利授權數(shù)人均網(wǎng)購金額人均網(wǎng)購批次行業(yè)公司數(shù)量變化圖行業(yè)公司資本金變化圖行業(yè)新產(chǎn)品數(shù)量變化圖行業(yè)網(wǎng)站活躍度變化圖空氣質(zhì)量指數(shù)水質(zhì)量指數(shù)人均收入指數(shù)就業(yè)指數(shù)社會保障指數(shù)消費活力指數(shù)社會輿情指數(shù)社交活力指數(shù)城市居民人均可支配收入農(nóng)村居民人均可支配收入人均儲蓄黨媒首頁指數(shù)社交平臺挖掘12345社交平臺挖掘網(wǎng)絡求職數(shù)與勞動力數(shù)比低保率救助人口比低保平均金額救助平均金額微博、微信、博客、論壇成員數(shù)社交平臺登錄頻率社交平臺消費時間社交平臺影響力指數(shù)正面輿情指數(shù)負面輿情指數(shù)百度指數(shù)網(wǎng)上辦件數(shù)網(wǎng)上公共服務數(shù)網(wǎng)上咨詢投訴答復率政府門戶網(wǎng)站監(jiān)測網(wǎng)絡政府可達性死亡率老齡人口比勞動力人口比流動人口比流出人口比出生率城市運行大數(shù)據(jù)中心精準扶貧，聚焦民生空間-基礎設施時間-周期績效事件-脫貧周期BigDataMobileGIS脫貧指標與脫貧考核貧困人口自然資源基礎設施經(jīng)濟要素基層組織貧困人口建檔立卡幫扶責任人（黨委）精準識別確立脫貧方案幫扶工作全周期管理扶貧項目資金全周期管理攻堅指揮與決策支持CloudComputing省-市-縣-鄉(xiāng)-村扶貧+基礎設施（交通、水利、電力、通信、國土、農(nóng)業(yè)）扶貧+產(chǎn)業(yè)（農(nóng)業(yè)、工商、稅務、企業(yè)、電商物流）扶貧+民生（衛(wèi)計、民政、人社、教育）扶貧+環(huán)境（環(huán)保、氣象、林業(yè)）扶貧+資金（財政、發(fā)改、銀行、保險）精準扶貧，聚焦民生CONTENT1當政務應用遇到大數(shù)據(jù)2退而結網(wǎng)，打造大數(shù)據(jù)湖泊3大數(shù)據(jù)平臺、架構與實現(xiàn)4大數(shù)據(jù)可視化，看得見的數(shù)據(jù)5成都四方偉業(yè)公司簡介大數(shù)據(jù)生態(tài)湖泊數(shù)據(jù)信息知識數(shù)據(jù)運維數(shù)據(jù)之源數(shù)據(jù)生產(chǎn)區(qū)（原始數(shù)據(jù)）結構化數(shù)據(jù)文本文件多媒體數(shù)據(jù)描述類數(shù)據(jù)信息發(fā)現(xiàn)區(qū)知識發(fā)現(xiàn)區(qū)知識挖掘區(qū)知識展現(xiàn)區(qū)知識交互區(qū)基于大數(shù)據(jù)的應用體系ODS數(shù)據(jù)魔方多維數(shù)據(jù)關聯(lián)主數(shù)據(jù)數(shù)據(jù)臺賬關鍵索引大數(shù)據(jù)挖掘行業(yè)規(guī)則大數(shù)據(jù)可視化數(shù)據(jù)多維報表大數(shù)據(jù)操縱數(shù)據(jù)APIS大數(shù)據(jù)檢索機構內(nèi)部數(shù)據(jù)社會數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)審計數(shù)據(jù)標準元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)治理流程元數(shù)據(jù)大數(shù)據(jù)關聯(lián)大數(shù)據(jù)分析大數(shù)據(jù)預測信息數(shù)據(jù)知識應用行業(yè)大數(shù)據(jù)應用面對的挑戰(zhàn)硬件無法跟進數(shù)據(jù)規(guī)模的指數(shù)級增長過于分散和原始成為大數(shù)據(jù)應用的障礙復雜數(shù)據(jù)算法與業(yè)務模型銜接諸多大數(shù)據(jù)并行計算架構的選擇大數(shù)據(jù)應用實現(xiàn)路徑：從哪里開始？專業(yè)人才匱乏CONTENT1當政務應用遇到大數(shù)據(jù)2退而結網(wǎng)，打造大數(shù)據(jù)湖泊3大數(shù)據(jù)平臺、架構與實現(xiàn)4大數(shù)據(jù)可視化，看得見的數(shù)據(jù)5成都四方偉業(yè)公司簡介WYDC軟件兼容基礎架構數(shù)據(jù)采集層物理存儲層邏輯存儲層并行計算層算法層挖掘分析層服務接口層調(diào)度監(jiān)控層ETLHadoopSqoopHadoopFlumePyspiderKafkaHadoopHDFSHBaseHiveMPPGreenplumSQL/RDBRedisMangoDBGraphXHadoopMapReduceHadoopYARNSparkSparkStreamingSparkGraphXElasticSearchSparkMLlibSparkRHadoopHiveHadoopImpalaMPP實時統(tǒng)計分析PythonMolap/KylinRolap/Mondrian通信協(xié)議（HTTP/SOAP/thrift/Restful/RPC）數(shù)據(jù)協(xié)議（XML/JSON）ZabbixHadoopZookeeperHadoopOozieETL任務調(diào)度ElasticLogstash數(shù)據(jù)倉庫數(shù)據(jù)集市多維數(shù)據(jù)庫存儲數(shù)據(jù)標簽庫模型設計模型訓練模型發(fā)布模型管理應用模型算法模型接口整合（thrift）SmartBI/并行基礎架構/算法/業(yè)務場景DataService/DaaSIDC/數(shù)據(jù)來源/數(shù)據(jù)存儲/數(shù)據(jù)治理/服務器DataDiscoveryFamily用戶管理系統(tǒng)監(jiān)控資源管理部署管理資源調(diào)度安全管理日志審計運維平臺數(shù)據(jù)交換匯集ETL網(wǎng)絡爬蟲（PySpider）實時采集（Flume）數(shù)據(jù)遷移（Sqoop）數(shù)據(jù)治理平臺數(shù)據(jù)地圖數(shù)據(jù)共享數(shù)據(jù)質(zhì)量數(shù)據(jù)治理銀行業(yè)務工商業(yè)務政務業(yè)務稅務稽查智能交通智慧醫(yī)療Hive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）數(shù)據(jù)集成調(diào)度引擎算法庫數(shù)據(jù)洞察Miner模型訓練數(shù)據(jù)集成作業(yè)調(diào)度DevOps實時分析ADS數(shù)據(jù)集成數(shù)據(jù)集成作業(yè)調(diào)度DevOps離線分析ODS數(shù)據(jù)集成數(shù)據(jù)集成DevOps流分析SDS可視化套件敏捷BI根因分析DE關聯(lián)分析XE搜索引擎推薦引擎輿情監(jiān)控反欺詐圖像識別語音識別用戶畫像智能管理API／SDK…應用&服務采集存儲&計算分析WYDC大數(shù)據(jù)交換匯集平臺構造大數(shù)據(jù)的數(shù)據(jù)之源大數(shù)據(jù)交換匯集平臺原始數(shù)據(jù)源數(shù)據(jù)采集交換區(qū)數(shù)據(jù)湖分散、種類多樣化，時效性差異大多種技術手段，平臺化系統(tǒng)，快速部署，統(tǒng)一管理為大數(shù)據(jù)應用提供全兼容數(shù)據(jù)存儲任務流程調(diào)度操作控制流程控制轉(zhuǎn)換流程數(shù)據(jù)抽取數(shù)據(jù)加載數(shù)據(jù)轉(zhuǎn)換子任務調(diào)度操作控制爬蟲系統(tǒng)流數(shù)據(jù)采集傳輸ETL核心架構ETL服務器認證授權監(jiān)控管理接口擴展接口ETL資源庫集成開發(fā)工具統(tǒng)一管理平臺數(shù)據(jù)資源庫文件資源庫數(shù)據(jù)源接入流程開發(fā)任務配置任務部署調(diào)試跟蹤任務執(zhí)行監(jiān)控輸出運行日志運行控制狀態(tài)監(jiān)控日志查看權限管理節(jié)點管理錯誤告警性能統(tǒng)計面板定制ETL引擎任務調(diào)度元數(shù)據(jù)處理流程性能管理交換管理任務引擎轉(zhuǎn)換引擎轉(zhuǎn)換組件適配器組件轉(zhuǎn)換流程流程控制操作控制任務調(diào)度豐富的ETL構件庫ETL實現(xiàn)各種你所需的數(shù)據(jù)處理流程提高開發(fā)效率縮短開發(fā)周期圖形化拖拽方式快速集成實現(xiàn)復雜數(shù)據(jù)處理流程NoSQL接入云化部署ETL的監(jiān)控管理單一業(yè)務的任務詳情圖形化展示任務執(zhí)行日志任務運行情況變化曲線全方位洞察一項任務執(zhí)行定義指定任務的報警規(guī)則定制指定任務的報警渠道指定報警信息的接收者根據(jù)需要控制告警規(guī)則的啟用與關閉告警幫你隨時把握任務異?？梢暬侄味嘟嵌茸鳂I(yè)監(jiān)控作業(yè)執(zhí)行狀態(tài)與成功率監(jiān)控對作業(yè)進行多角度排序ETL任務執(zhí)行一覽無余WYDC大數(shù)據(jù)應用駕駛艙大數(shù)據(jù)高速飛行的駕駛艙大數(shù)據(jù)應用駕駛艙SqoopHiveHBaseZookepperPigMahoutMapReduceHDFS分布式網(wǎng)絡Cloud服務器/存儲物理安全FlumeHama超強計算能力更低建模門檻全景統(tǒng)一管理更低建設成本可信賴安全機制全方位輔助分析多達50+預置模型支持百億級數(shù)據(jù)量訓練多算法并行訓練支持算法組件，零編碼，拖拽式數(shù)十個流程設計組件用戶自定義算法組件算法庫行業(yè)分類跨平臺算法調(diào)用模型訓練結果分析報告參數(shù)化調(diào)優(yōu)，簡化配置建模全生命周期流程管理可視化實時模型訓練監(jiān)控性能處理，比傳統(tǒng)架構節(jié)省資源1/3搭配智能部署，讓實施成本降低50%多種權限控制機制數(shù)據(jù)級別訪問權限控制資源級別訪問權限控制大數(shù)據(jù)應用流程控制任務耗時情況總覽狀態(tài)監(jiān)控，隨時掌握任務執(zhí)行狀態(tài)的總體分布任務狀態(tài)情況總覽耗時的任務和步驟，需要得到我們的重點關照具體任務耗時追蹤耗時監(jiān)控，透視任務執(zhí)行的時間大數(shù)據(jù)分析流程監(jiān)控與調(diào)度大數(shù)據(jù)應用流程實現(xiàn)任務導航列表任務查詢?nèi)蝿談?chuàng)建拖拽算法，拼接數(shù)據(jù)分析流程定義任務基本屬性配置任務調(diào)度信息駕駛艙數(shù)據(jù)查詢數(shù)據(jù)圖表數(shù)據(jù)明細元數(shù)據(jù)信息查詢?nèi)罩練v史記錄HDFS文件基礎計算架構運維管理WYDC大數(shù)據(jù)治理平臺大數(shù)據(jù)治理實現(xiàn)數(shù)據(jù)內(nèi)升大數(shù)據(jù)治理流域原始業(yè)務數(shù)據(jù)原始業(yè)務數(shù)據(jù)原始業(yè)務數(shù)據(jù)原始業(yè)務數(shù)據(jù)基礎庫主題庫元數(shù)據(jù)數(shù)據(jù)標準數(shù)據(jù)字典目錄系統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)自由之海數(shù)據(jù)河流數(shù)據(jù)河流大數(shù)據(jù)存儲語義級主題數(shù)據(jù)檢索時間維空間維對象維多維數(shù)據(jù)安全流程審計數(shù)據(jù)采集清洗比對閉環(huán)迭代數(shù)據(jù)梳理編目主數(shù)據(jù)管理多維數(shù)據(jù)檢索與服務大數(shù)據(jù)存儲訪問面向數(shù)據(jù)需求方原始數(shù)據(jù)元數(shù)據(jù)治理流程數(shù)據(jù)標準字典行業(yè)業(yè)務規(guī)則訪問條理安全質(zhì)量數(shù)據(jù)接口共享開放數(shù)據(jù)檢索數(shù)據(jù)服務我是系統(tǒng)運維主管，要管理好所有數(shù)據(jù)資源的安全我的應用需要訪問和采集大量的數(shù)據(jù)我的大數(shù)據(jù)挖掘模型需要大量數(shù)據(jù)之源我的決策分析要涉及更全面的信息我是信息運營主管，希望隨時了解我有哪些數(shù)據(jù)資源能不能我想要什么都快速查到？……治理的開始：數(shù)據(jù)整合ETL數(shù)據(jù)處理流程

數(shù)據(jù)轉(zhuǎn)換實現(xiàn)數(shù)據(jù)結構的轉(zhuǎn)變數(shù)據(jù)拼裝實現(xiàn)不同數(shù)據(jù)來源的匯總數(shù)據(jù)比對通過比對去除錯誤和冗余數(shù)據(jù)清洗去偽存真，保留正確數(shù)據(jù)數(shù)據(jù)載入根據(jù)中心存儲裝載數(shù)據(jù)內(nèi)容治理的脈絡：元數(shù)據(jù)在數(shù)據(jù)調(diào)研與業(yè)務中積累元數(shù)據(jù)調(diào)研表格與報告部門元數(shù)據(jù)收集數(shù)據(jù)調(diào)研梳理元數(shù)據(jù)定義與生成元數(shù)據(jù)存儲元數(shù)據(jù)應用與維護元數(shù)據(jù)標準元數(shù)據(jù)管理與服務自動對中心數(shù)據(jù)資源生成結構化元數(shù)據(jù)減小工作量投入可通過標準定義自動生成數(shù)據(jù)表自動偵測元數(shù)據(jù)本身也是一個體系元數(shù)據(jù)按規(guī)劃層級存儲選擇數(shù)據(jù)庫等載體以便于檢索為目標存儲元數(shù)據(jù)元數(shù)據(jù)準確性維護元數(shù)據(jù)完整性維護元數(shù)據(jù)分中心之間支持交換同步元數(shù)據(jù)維護便捷訪問元數(shù)據(jù)基于元數(shù)據(jù)輕松定位數(shù)據(jù)存儲與訪問便于數(shù)據(jù)組裝編制構成數(shù)據(jù)目錄元數(shù)據(jù)檢索治理的標尺：數(shù)據(jù)標準與質(zhì)量數(shù)據(jù)比對規(guī)則行業(yè)規(guī)則數(shù)據(jù)/元數(shù)據(jù)標準數(shù)據(jù)質(zhì)量報告數(shù)據(jù)清洗比對參照規(guī)則多源數(shù)據(jù)中心前置緩存自動/人工比對反向清洗數(shù)據(jù)中心資源維護階段數(shù)據(jù)中心中心資源治理階段數(shù)據(jù)整合階段數(shù)據(jù)字典數(shù)據(jù)依標準的格式轉(zhuǎn)換數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)分類與目錄規(guī)則定義與管理標準設計管理大數(shù)據(jù)治理平臺：段碼數(shù)據(jù)標準管理大數(shù)據(jù)治理平臺：信息類管理大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)——規(guī)則定義大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：數(shù)據(jù)資源目錄大數(shù)據(jù)治理平臺：信息類授權大數(shù)據(jù)治理平臺：數(shù)據(jù)臺賬大數(shù)據(jù)治理平臺核心價值更全面的數(shù)據(jù)質(zhì)量保障提供數(shù)據(jù)標準梳理工具，使得元數(shù)據(jù)更合規(guī)支持策略集的質(zhì)量巡檢方式，保障數(shù)據(jù)的完整性全景化信息開放與檢索支持主題的數(shù)據(jù)臺賬，基于元數(shù)據(jù)的信息管理，提供數(shù)據(jù)資源目錄與導航多渠道的數(shù)據(jù)訪問機制（目錄、API、Webservices）全過程信息安全支持交換全過程監(jiān)控、審計，并提供郵件、短信預警功能基于oAuth協(xié)議的第三方單點登陸集成的模塊支持通道安全，支持SSL傳輸通道加密功能支持數(shù)據(jù)及資源級別訪問安全控制，可靈活對脫敏數(shù)據(jù)進行管理更低的建設成本產(chǎn)品自主化量身定制適合應用的實踐路線智能部署，比同類產(chǎn)品實施節(jié)省一半時間基于大量實踐的，通用解決方案WYDC大數(shù)據(jù)智能分析平臺大數(shù)據(jù)知識挖掘的核心引擎大數(shù)據(jù)分析平臺關鍵能力開放彈性架構真正無共享的海量并行處理架構工業(yè)標準的X86平臺服務器資源按需分配，按需搭建集群，按需縮放集群規(guī)模在線線性擴展增加節(jié)點可線性增加存儲、查詢和加載性能支持在線擴容，擴容期間保證系統(tǒng)繼續(xù)對外提供服務擁有成本可控保證用戶不被專有平臺鎖定企業(yè)初期投入和后續(xù)擴容的成本可控海量并行處理支持PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負載按需分配資源（CPU、內(nèi)存、IO）動態(tài)調(diào)整資源平臺持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯技術保證系統(tǒng)高可用故障切換和恢復，對用戶透明擴容期間可持續(xù)對外服務易于管理維護直觀的圖形化界面，實時的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護工作大數(shù)據(jù)分析架構計算存儲網(wǎng)絡開源架構云平臺管理云平臺安全模型庫大數(shù)據(jù)資源開放共享平臺大數(shù)據(jù)可視化與自服務平臺大數(shù)據(jù)應用體系Hadoop/YARN服務器虛擬化存儲虛擬化網(wǎng)絡虛擬化警務云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲分布式對象存儲SAN存儲網(wǎng)關OpenFlowvxLanvSwitch計算資源接口存儲資源接口網(wǎng)絡資源接口容災資源接口云資源管理云運維管理通信安全數(shù)據(jù)安全訪問安全vRouteSparkStormNoSQLkafkaMPPDB算法庫Mahout算法庫SparkMlib自定義算法算法審核模型評估模型發(fā)布模型訓練模型管理數(shù)據(jù)挖掘統(tǒng)計分析MOLAPROLAPKylin數(shù)據(jù)預處理算法選擇模型構建與評估結果預測數(shù)據(jù)探索知識庫知識分類管理版本與發(fā)布管理訂閱管理知識庫檢索數(shù)據(jù)源選擇R集成Python集成數(shù)據(jù)源選擇數(shù)據(jù)分析建模全生命周期業(yè)務場景導入數(shù)學分析建模大數(shù)據(jù)模型發(fā)布應用大數(shù)據(jù)應用政務大數(shù)據(jù)應用工業(yè)大數(shù)據(jù)應用交通大數(shù)據(jù)應用旅游大數(shù)據(jù)應用……數(shù)據(jù)歸集與預處理算法選擇算法自定義分析建模設計模型訓練模型發(fā)布模型調(diào)度運行管理知識庫管理模型運行大數(shù)據(jù)運行服務大數(shù)據(jù)可視化展示知識庫共享大數(shù)據(jù)智能分析平臺大數(shù)據(jù)應用駕駛艙大數(shù)據(jù)可視化平臺大數(shù)據(jù)算法庫數(shù)據(jù)分析挖掘功能架構模型庫數(shù)據(jù)分析算法庫Mahout算法庫SparkMlib自定義算法算法審核模型評估模型發(fā)布模型訓練模型管理統(tǒng)計分析MOLAPROLAPKylin數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)預處理算法選擇模型構建與評估結果預測數(shù)據(jù)探索知識庫知識分類管理版本與發(fā)布管理訂閱管理知識庫檢索數(shù)據(jù)源選擇R集成Python集成數(shù)據(jù)源選擇超強的計算能力多達50種以上的預置模型；支持百億級數(shù)據(jù)量訓練；輔助分析能力快速展現(xiàn)模型訓練結果；參數(shù)化模型調(diào)優(yōu)；可信賴的安全控制提供多種權限控制設置；支持數(shù)據(jù)級別訪問安全控制；支持資源級別訪問安全控制；數(shù)據(jù)倉庫數(shù)據(jù)集市PetaBase支持數(shù)據(jù)庫類型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…支持數(shù)據(jù)庫類型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…EssBase…Hadoop分布式高性能交互式SQL數(shù)據(jù)挖掘Miner可視化環(huán)境簡單易用的可視化環(huán)境視覺呈現(xiàn)所有利益相關者之間的合作可以簡單高效設計更好的模型每一個分析是一個流程每種數(shù)據(jù)轉(zhuǎn)化或分析是一個節(jié)點操作界面強大的工程支撐流程可以當做模板再次使用支持項目工程建模1000多個節(jié)點可用于所有的數(shù)據(jù)轉(zhuǎn)化和分析基于客戶端/服務器架構可實現(xiàn)自動化建模和數(shù)據(jù)轉(zhuǎn)化可建立和評估模型，并與其他應用程序集成系統(tǒng)支持Miner數(shù)據(jù)分析建模與HadoopHive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）數(shù)據(jù)洞察MinerDatapreparationBuildmodelTrainPredictivemodel數(shù)據(jù)分析建模全生命周期業(yè)務場景導入數(shù)學分析建模大數(shù)據(jù)模型發(fā)布應用大數(shù)據(jù)應用政務大數(shù)據(jù)應用工業(yè)大數(shù)據(jù)應用交通大數(shù)據(jù)應用旅游大數(shù)據(jù)應用……數(shù)據(jù)歸集與預處理算法選擇算法自定義分析建模設計模型訓練模型發(fā)布模型調(diào)度運行管理知識庫管理模型運行大數(shù)據(jù)運行服務大數(shù)據(jù)可視化展示知識庫共享大數(shù)據(jù)智能分析平臺大數(shù)據(jù)應用駕駛艙大數(shù)據(jù)可視化平臺大數(shù)據(jù)算法庫Miner自動化流程及控制流程控制在子流程中管理分組并在其他項目中再利用可以重復執(zhí)行一部分流程支持的循環(huán)：屬性、標簽、子集、值、樣本、集群、批量、數(shù)據(jù)結合、數(shù)據(jù)碎片、參數(shù)、文件、資源庫條目分支（If-Then-Else）基于：、數(shù)據(jù)值、屬性是否存在、樣本數(shù)量、性能值、文件和過程輸入是否存在、任意表達式創(chuàng)建同一類型的集合集合處理：選擇、扁平化或循環(huán)可以記憶并調(diào)用（中間件）過程結果用于復雜的流程設計處理預期或非預期的錯誤和異常自動化自動選取性能最好的子流程通過嵌套的交叉驗證或其他驗證衡量預處理步驟的效果自動選取最優(yōu)模型類型和參數(shù)自動選取最優(yōu)屬性子集自動優(yōu)化過程參數(shù)，包括建模參數(shù)：Grid、二次方程的、漸進的日志在流程中的任意位置都可以引入日志日志可以收集參數(shù)值、性能值、或來自每個算子的特定值，例如漸進算法當前產(chǎn)生的結果數(shù)據(jù)值可以被日志記錄宏值可以被日志記錄日志值可以被轉(zhuǎn)化為其他幾種格式，包括數(shù)據(jù)集合和權重，權重可以和其他數(shù)據(jù)集合一樣被存儲、轉(zhuǎn)化或可視化報表在僅用日志不足夠的情況下，一個完整的基于流程的報告引擎允許在靜態(tài)報告中收集任意結果支持不同的格式，如PDF，Excel，HTML，或者RTF有不同的報告樣式，包括序列報告或者門戶網(wǎng)站任意過程結果和中間結果可以被轉(zhuǎn)化為不同類型的可視化圖形，如表格，圖標等持最多5層區(qū)域支持分頁和其他樣式信息與循環(huán)或者其他流程控制結構的結合可以讓人看到流程設計非常詳細的結果概覽，即使這個流程設計十分復雜導入數(shù)據(jù)建立工作空間關聯(lián)數(shù)據(jù)建立工作流數(shù)據(jù)預處理特征選擇模型訓練模型評估自動化及流程控制多人協(xié)作Miner的數(shù)據(jù)建模分析準備數(shù)據(jù)準備，支持屬性選取算子，分組結合多種功能：求和、平均、中間值，支持集合算子，處理原數(shù)據(jù)，性值過濾行及樣本等，識別并移除冗余數(shù)據(jù)；支撐數(shù)據(jù)取樣、數(shù)據(jù)分割、數(shù)據(jù)轉(zhuǎn)化等。

數(shù)據(jù)取樣絕對的、相對的、概率的、平均的、分層的、基于模型的等.數(shù)據(jù)分箱可基于計數(shù)、大小、頻率等進行交互式分箱，使引導區(qū)熵值最小化.數(shù)據(jù)轉(zhuǎn)化歸一化和標準化：Z-轉(zhuǎn)化，按比轉(zhuǎn)化、四分差；數(shù)值屬性、名義或類別屬性之間的轉(zhuǎn)化.數(shù)據(jù)分割創(chuàng)建訓練、驗證以及測試數(shù)據(jù)集，可用戶自定義分區(qū).數(shù)據(jù)替換替換標稱、類別值，支持映射、截取、分段、混合等.屬性生成支持屬性生成：ID、副本、串聯(lián)、聚集、向量乘積、高斯分布等.權重和選取支持屬性選取，移除無用屬性；基于權重方案移除不相關屬性Miner大數(shù)據(jù)分析建模構建流程圖進行模型訓練Miner大數(shù)據(jù)分析建模配置決策樹規(guī)則和回歸參數(shù)配置基金定投相應預測模型規(guī)則引擎是將模型的結果，回歸參數(shù)，或者決策樹的規(guī)則，配置到規(guī)則庫中，后臺可實現(xiàn)批處理評分或者實時評分Miner大數(shù)據(jù)分析建?；貧w參數(shù)決策樹規(guī)則Miner大數(shù)據(jù)分析建模根據(jù)回歸參數(shù)、評分卡參數(shù)生成的評分卡Miner大數(shù)據(jù)分析建模根據(jù)客戶信息實時生成的評分卡Miner大數(shù)據(jù)分析建模根據(jù)客戶信息實時生成的決策路徑Miner大數(shù)據(jù)分析建模根據(jù)評分卡可對客戶評分在本例中，得分越高的客戶進行基金定投的概率越高，越可能成為我行客戶。于是選取得分更高的部分客戶(得分超過基準分的客戶)進行營銷。Miner大數(shù)據(jù)分析建模Miner大數(shù)據(jù)分析建模WYDC大數(shù)據(jù)可視化平臺大數(shù)據(jù)展現(xiàn)大數(shù)據(jù)可視化平臺功能支持UI編排組件庫事件聯(lián)動模型數(shù)據(jù)過濾條件設置組件渲染容器監(jiān)聽主題管理布局模板任務管理大數(shù)據(jù)可視化平臺案例體驗：四川移動數(shù)據(jù)立體呈現(xiàn)，動靜結合；展示有靜態(tài)有動態(tài)大數(shù)據(jù)可視化平臺案例體驗：安徽移動大數(shù)據(jù)可視化平臺軟件架構大數(shù)據(jù)可視化平臺——數(shù)據(jù)編排展現(xiàn)大數(shù)據(jù)可視化平臺UI編輯體驗大數(shù)據(jù)可視化平臺UI編輯體驗UI組件的數(shù)據(jù)源綁定大數(shù)據(jù)可視化平臺帶來的價值利用豐富強大的UI，快速搭建前端分析界面和分析流程完全可以在幾天之內(nèi)基本實現(xiàn)客戶的大數(shù)據(jù)藍圖縮短周期，降低成本，最大限度提升成功率實時流狀大數(shù)據(jù)動態(tài)呈現(xiàn)、智能分析適用于網(wǎng)絡流量監(jiān)控、交通疏導等對數(shù)據(jù)實時性要求較高的應用領域可通過輕量級解決方案實現(xiàn)靈活的大數(shù)據(jù)可視化數(shù)據(jù)展示、數(shù)據(jù)處理、元數(shù)據(jù)管理相互松耦合快速搭建部署立體數(shù)據(jù)動態(tài)呈現(xiàn)靈活搭配提升費效比數(shù)據(jù)延伸至空間地理維度實現(xiàn)數(shù)據(jù)的空間