數(shù)據(jù)治理工具項目投標(biāo)書技術(shù)部分

(1)具備數(shù)據(jù)抽取轉(zhuǎn)換裝載、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)(2)采用B/S模式，瀏覽器端兼容Chrome、FireFox等主流瀏Tomcat7.0以上，JDK版本為1.7以上，數(shù)據(jù)庫為0racle或MySQL。(3)支持集群模式。保證7×24小時不間斷持續(xù)運行，且計劃外宕機時間控制在全年的0.2%以內(nèi)、計劃外宕機次數(shù)控制在全年4次(4)支持高并發(fā)。頁面查詢不高于2秒，復(fù)雜查詢不高于5秒，一般頁面數(shù)據(jù)更新處理時間不高于3秒，復(fù)雜數(shù)據(jù)更新不高于5秒。(5)數(shù)據(jù)抽取速率高。數(shù)據(jù)庫到數(shù)據(jù)庫不低于1000條/秒，文件到數(shù)據(jù)庫不低于1000條/秒。(6)根據(jù)以上性能指標(biāo)要求提出硬件及網(wǎng)絡(luò)的性能及規(guī)模配套投標(biāo)產(chǎn)品需具有與國內(nèi)自主成熟的數(shù)據(jù)交換共享平臺和大數(shù)據(jù)3.2成熟度要求3.3技術(shù)要求支持連接到源數(shù)據(jù)庫系統(tǒng)，把元數(shù)據(jù)抽取到統(tǒng)一的元數(shù)據(jù)>提供多種采集適配器，支持從主流關(guān)系型數(shù)據(jù)庫、Hadoop支持采集任務(wù)配置，可實現(xiàn)一次性和定時采集，支持采集可通過界面創(chuàng)建、維護元數(shù)據(jù)模型，支持業(yè)務(wù)模型和技術(shù)支持通過界面創(chuàng)建并維護元數(shù)據(jù)模型間關(guān)系，包括組合關(guān)提供將常用建模工具(包括PowerDesigner等)設(shè)計的數(shù)支持元數(shù)據(jù)版本管理，包括：版本號的設(shè)置，歷史版本的●數(shù)據(jù)關(guān)聯(lián)分析>提供數(shù)據(jù)地圖功能，用于展示元數(shù)據(jù)間關(guān)系，支持系統(tǒng)、●其他功能>將元數(shù)據(jù)以系統(tǒng)為單位導(dǎo)出到Excel;>提供多維度的元數(shù)據(jù)檢索查詢功能?！駭?shù)據(jù)標(biāo)準(zhǔn)維護>支持通過Excel模板導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn)模型；支持代碼標(biāo)準(zhǔn)的元模型定義與標(biāo)準(zhǔn)維護，包括代碼和代碼●數(shù)據(jù)標(biāo)準(zhǔn)映射●質(zhì)量規(guī)則管理●質(zhì)量規(guī)則檢核●質(zhì)量分析報告支持考核算法和策略配置，對質(zhì)量規(guī)則執(zhí)行結(jié)果進行量化1)開放性引入業(yè)界開放的、成熟的標(biāo)準(zhǔn)，從而保證系統(tǒng)成為符合標(biāo)準(zhǔn)又不2)先進性各工具基于統(tǒng)一的整體架構(gòu)，采用先進的、成熟的、可靠的技術(shù)3)可擴展性隨著新的業(yè)務(wù)需求的不斷產(chǎn)生，支持基礎(chǔ)數(shù)據(jù)模型、應(yīng)用分析模4)安全性5)可維護性建立統(tǒng)一化可視化的運維體系，數(shù)據(jù)處理各個環(huán)節(jié)，能對系統(tǒng)進星環(huán)科技提供數(shù)據(jù)處理工具包是一款基于大數(shù)據(jù)技術(shù)的專業(yè)數(shù)據(jù)務(wù)建設(shè)的要求。名稱供應(yīng)商說明星環(huán)科技元數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)目錄工具。(豐富元數(shù)據(jù)管理、增加數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理等功 服務(wù)器端可運行在Linux、Windows系統(tǒng)上，應(yīng)用服務(wù)器兼容數(shù)據(jù)治理工具包支持集群模式，可保證7×24小時不間斷持續(xù)于5秒。SpringFrameworkUI&RestfulAPI提供DataCatalog的UI界面MetadataIntegration&NotificationAPI提供Messaging消息隊列(目前使用Kafka)以及API接口(HTTP或REST方式)的元數(shù)據(jù)67.4%46.2%88.9%OAnalshihhohohdnnnoh1)元數(shù)據(jù)采集支持元數(shù)據(jù)人工采集和自動化采集，支持對多數(shù)據(jù)源的元數(shù)據(jù)采TD、Hbase、Teradata、PilotEnterprise以及第三方報表工具。支已障入日620調(diào)0000白白tpeipnetnst0e00新建連接新建連接選擇連按類型連接類型DB2“數(shù)據(jù)庫0全部2)元數(shù)據(jù)管理功能×取消取消B目censusjinfoA同事業(yè)務(wù)字A0成3)元數(shù)據(jù)維護insertintotableacidjoinexecuteimmediate'truncatetabinsertintotableacidjoin3selectsfds,adbms_output.put_line('SQL%ROWCOUNT='llSQL%ROWCOUNT)時間行為課7-02-2414712OREATE_PLSQLAEAEATE08REPLACEPROCEDUREdutayInsertProcedure()ASdbes_output.put_line('5QLNROMCOUNTexecuteinrediote'trdbms_output.put_1ine('SQLsROMCOUNT1|sQLNROMCOUNT)updateocidsjoin3setage=105wenddummyInsertProcedure時間持續(xù)時間2016-08-17T13:48.41.348ZANON_EXEC2016-08-17T13:46:41.348ZANON_EXE2016-08-17T13:48.41.348ZANON_EXEC2016-08-17T13:46:41.348ZANON_EXE4)元數(shù)據(jù)瀏覽●概覽信息TRAMa業(yè)ANP總質(zhì)自定義產(chǎn)品0Educationnsurance06實例12)率0HunterLane默盜產(chǎn)/改照率/inuurance/detult/段登法/censu■census_info★1161212概覽列信8(5)采樣數(shù)據(jù)(100)關(guān)系表使用記錄數(shù)據(jù)持證采樣數(shù)據(jù)(5/100)4Betty21emaleTABLE2回四視面日存儲過程日NSERT_TABLE1資產(chǎn)//D82-48st/062NST17目ADDREsswAROHWR50TABLE1度0000關(guān)聯(lián)戶●采樣數(shù)據(jù)n曲四日n2wea四n_aja_inatn00 unlvenitmurmugehe12h66522212響A第三方產(chǎn)品●使用記錄SELECTPersonsbastName,Persons.FirstName,Orders..adminSQL2018.10.1113SELECTPersons.LastName,Persons.FirstName,Orders.OrderNoFROMPersALTERTABLEtOrdersWHEREPersons.IALTERTABLEtable_nameDROPSELECTPersons.LastName,Persons.FirstName,Orders...adselect*fromperson.StateProvincewhere...5)系統(tǒng)管理供文件、庫、表、字段級的數(shù)據(jù)權(quán)限控制能力，權(quán)限控制能精確到申計6)元數(shù)據(jù)應(yīng)用TRANStARPC人工智產(chǎn)晶三STUDENTD82-test/■detault/STuseinlopeapleColegD82-test/曲default/STUDENT重catalog-tah-01有者DB2INST1時間2019/3/2510:05unerinlopeoplColtge7)元數(shù)據(jù)導(dǎo)入導(dǎo)出支持元數(shù)據(jù)的導(dǎo)入導(dǎo)出(全量與指定元數(shù)據(jù)備份與恢復(fù)等)。出0函A2條詞2白不量2畝白2畝AongyP調(diào)調(diào)券228)元數(shù)據(jù)模型管理型連入時間更新時間回1除數(shù)述大零告信告審批大零告信貨審比大零售信貨審批柜面業(yè)務(wù)平臺柜面業(yè)務(wù)平臺基金代病基金代銷基金代消adm客戶信息管理客戶信息管理客戶信息管理9)數(shù)據(jù)地圖10)血緣分析●支持視圖View的血緣影響分析(包括展示已delete刪除的表●支持?jǐn)?shù)據(jù)庫中表和字段的血緣分析和影響分析。支持對電子●支持對ETL流程的血緣、影響分析。●支持手動對血緣信息進行增加，刪除，修改等操作?！裰С肿詣踊瘜崟r同步更新血緣、影響數(shù)據(jù)。DataCatalog支持?jǐn)?shù)據(jù)表的血緣影響分析，通過整合分散在各個變化關(guān)系圖譜，使用戶更全面的掌握數(shù)據(jù)，把握數(shù)據(jù)變化。DataCatalog使用血緣分析和影響分析來描繪元數(shù)據(jù)間的關(guān)聯(lián)圖譜，包括元數(shù)據(jù)來源于哪些表，又去往了哪些表。其中血緣分析關(guān)注當(dāng)前對以目標(biāo)對象的第一代祖先為起點，以目標(biāo)分析1b0e95af-b430-4230-aftable_1INCEPTOR_TABLEmtestttable_1@ctable_1此外，血緣影響分析圖還支持列的血緣影響分析。點擊血緣圖中麗table_1麗table_1table_2table_2其idid11)關(guān)聯(lián)分析12)關(guān)系過濾該元數(shù)據(jù)管理工具支持基于Process對血緣圖以及影響分析圖進血緣分析和影響分析關(guān)注的是分析對象的數(shù)據(jù)是如何從上游對輸出到tb2的這條血緣分支；而不關(guān)注tb2的其他輸入來源。另外需要注意，Process的輸出對象(即tb2)的后續(xù)血緣鏈不會受到影響，12)數(shù)據(jù)治理可視化●支持自定義業(yè)務(wù)目錄結(jié)構(gòu)以及內(nèi)容，并提供相應(yīng)的查詢，瀏●支持業(yè)務(wù)詞條的以EXCEL文件格式的導(dǎo)入導(dǎo)出功能?！衲J(rèn)內(nèi)置金融、政府等行業(yè)業(yè)務(wù)術(shù)語?！裰С指鶕?jù)業(yè)務(wù)需求，創(chuàng)建新的字典，使用方法與內(nèi)置默認(rèn)業(yè)●支持自定義業(yè)務(wù)元數(shù)據(jù)的存儲、展示格式和類型。●支持將業(yè)務(wù)元數(shù)據(jù)與任意資產(chǎn)進行關(guān)聯(lián)。1)新建業(yè)務(wù)字典新建業(yè)務(wù)字典2)添加目錄及編輯屬性業(yè)務(wù)字典支持自定義目錄的結(jié)構(gòu)和屬性。屬性規(guī)定了該目錄以及添加目錄X目錄名稱目錄描述自定義屈性0該目錄允許自定義屬性字段名字段類型操作沒有內(nèi)容十添加壓性添加目錄添加目錄添加屬性XX目錄名稱目錄名稱是否必填是否必填可選項O必填項 X每周X每周十添加枚舉值十添加枚舉值確定取消目錄名稱目錄描述自定義屬性0該目錄不允許操作屬性可能是自動繼承或者目錄非空字段名字段類型取消確定3)詞條管理業(yè)務(wù)字典目錄的詳情頁展示了目錄的描述、包含的詞條和子目錄等信息。詞條的展示格式由用戶定義的目錄屬性決定。該頁面支持Q和和adnn管理尋本校國解高2019520具mn用的和商進行62019320白adnaadnn證由國政府支持2019320e自詳情解釋/.自定義的字段舉例取消確定關(guān)4)導(dǎo)入導(dǎo)出由動n構(gòu)發(fā)行6e2222三..擅素結(jié)果(共計202個)D82-test/adefault/STUDuserinfopeopleColegeD82-test/票default/麗STUuserinlopeopleColege報目云平臺草1)數(shù)據(jù)質(zhì)量思想一性驗意量數(shù)據(jù)的唯一性：不同來源的數(shù)據(jù)在DW中出現(xiàn)重復(fù)的情況；數(shù)據(jù)的合法性：獲取的數(shù)據(jù)指標(biāo)與常識不相符合，如年齡>150歲數(shù)據(jù)的一致性：不同來源的不同指標(biāo)數(shù)據(jù)其內(nèi)涵是一樣的(數(shù)據(jù)發(fā)現(xiàn));或者同一指標(biāo)的數(shù)據(jù)內(nèi)涵不同?！裢ㄟ^其他信息補全：例如，使用身份證號碼推算性別，籍用前后記錄的均值補全，或根據(jù)缺失跨度平滑處理.●按主鍵去重，利用sql的groupby<col1>,<col2>,..,<col●按規(guī)則去重，編寫一系列的規(guī)則，對重復(fù)情況復(fù)雜的數(shù)據(jù)去重，例如不同來源的客戶數(shù)據(jù)，可通過相同的關(guān)鍵信息進行施，強制轉(zhuǎn)換為最大/最小值，或判定為無效(供人工檢查)。例如：格式規(guī)則(日期類)"yyyy-MM-dd";內(nèi)容規(guī)則：性別in(男，女，未知);出生日期<=today●設(shè)置告警規(guī)則：對超越數(shù)值范圍的記錄做報警處理，導(dǎo)出錯●對字段的內(nèi)容(數(shù)值類)做離群值檢查：使用分箱，聚類，回2)質(zhì)量管理規(guī)則及流程數(shù)據(jù)加工處理數(shù)據(jù)質(zhì)量檢查政振質(zhì)量報告政振質(zhì)量報告菜菜數(shù)據(jù)質(zhì)量考核數(shù)據(jù)質(zhì)量考核上圖展示了Datacatalog數(shù)據(jù)質(zhì)量控制采用檢測到的8條違反規(guī)則數(shù)據(jù)將全部進入該表。 ReadeWhe質(zhì)量統(tǒng)計表：用ColumnMap算子從總的原始數(shù)據(jù)中過濾統(tǒng)計的有效字段，將其與用ColumnMap算子從有效數(shù)據(jù)中過濾出用合法數(shù)據(jù)表：通過Filter定義出符合要求的元數(shù)據(jù)標(biāo)準(zhǔn)，例如類同時將經(jīng)過合法處理后的非法數(shù)據(jù)匯入該表進入最終的數(shù)據(jù)表非法數(shù)據(jù)表：通過Filter_Neg過濾所有非法數(shù)據(jù)，接入表3)數(shù)據(jù)稽查進行數(shù)據(jù)稽查時，系統(tǒng)將對如下問題數(shù)據(jù)報錯并記錄至Error對不符合NOTNULL限制的記錄報錯。用戶可以在創(chuàng)建一個外表的同時指定LogErrorTable。無效數(shù)據(jù)，就將該數(shù)據(jù)寫入ErrorTable。允許指定REJECT策略，即當(dāng)錯誤率達到一定的行數(shù)或者比例3)數(shù)據(jù)質(zhì)量管理功能●支持內(nèi)置檢查規(guī)則以及自定義質(zhì)量規(guī)則(如空值、值域、規(guī)●支持自動或人工執(zhí)行數(shù)據(jù)質(zhì)量檢核任務(wù)，支持定時調(diào)度時間●對質(zhì)量規(guī)則執(zhí)行結(jié)果進行量化打分；檢查完成后自動生成質(zhì)TRAMskArPTRAMskArP儀表盤印數(shù)施全局參數(shù)一連接管理目日●具備根據(jù)質(zhì)量問題改善數(shù)據(jù)質(zhì)量的能力，能夠使用算子修改●支持在ETL流程中進行數(shù)據(jù)質(zhì)量管控的功能，使得數(shù)據(jù)質(zhì)量1)數(shù)據(jù)資產(chǎn)門戶ANANAM品通市場四全部類型四全部類型政據(jù)源(0)四數(shù)據(jù)表(0)全絕徑象經(jīng)營主題/market數(shù)民庫者Wayne視圖(0)存儲過程(2)存儲過程(2)業(yè)務(wù)字典(2)徑：經(jīng)營主題/market展開描述展開描述路徑：經(jīng)營主題/marketing業(yè)務(wù)詞條者：ustin但時間：2018.3.195323數(shù)據(jù)家表業(yè)務(wù)字典經(jīng)營分析日報路徑：》經(jīng)分系統(tǒng)/經(jīng)營主題/經(jīng)營分析日報型：數(shù)我報表時者：Ken器marketing路徑：0sales/statistieymarket具備支持?jǐn)?shù)據(jù)大屏的功能，以RestAPI的形式提供數(shù)據(jù)資產(chǎn)相2)業(yè)務(wù)目錄編目體需求對目錄進行編目，并將對應(yīng)的數(shù)據(jù)資產(chǎn)放入編目好的目錄中.三人三數(shù)據(jù)庫數(shù)據(jù)服表業(yè)務(wù)字典華東區(qū)輛售博8a華東區(qū)19年一手實報表罪上海地區(qū)納售數(shù)據(jù)責(zé)罪無地地區(qū)納儒數(shù)據(jù)華北區(qū)納告情兄華老區(qū)碼店鎮(zhèn)況華中區(qū)輛售博況/業(yè)務(wù)行電京地區(qū)輛售政配8興型Db2表0Hunter十emaleenuleSuite4801,4thfloor,GaoyangOffce1004.BoruiPluzaA26E3)標(biāo)簽管理Oa產(chǎn)//inorpto/tost名8器型2日tabet88系電空DataCatalog基于機器學(xué)習(xí)相關(guān)技術(shù)提供資產(chǎn)相似性分析和數(shù)接跳轉(zhuǎn)至該資產(chǎn)的頁面瀏覽?！鰯?shù)據(jù)表HuntertaneHuntertane“/N/inurane/delout//cmunjo@血緣分析@血緣分析Thsdatabasecollectsalldatarelatedtotheoplolddrugepidemk.In8擁有者8擁有者Db2表8數(shù)監(jiān)源123/FJingAnKerryCentreTo2Suite4801,4thfioot,GaoyangBuilding.813437/39,ruedeNeuillyBP523/FJingAnKerryCentreTShanghaiXuhuiMddleSchCaygifcationIsformutionofUniProfessionalemploymProleutionulEmploymentPrn天1034)使用教程于教程列表新建教程新建分類目錄20ataCxtalog安222日有結(jié)過程Xtable_1ddtring0d合CA三方君基t戶Ldotaut預(yù)消試連接建消試連接建44m述這是一個數(shù)據(jù)中請這是一段為什么申請執(zhí)行信8.u國目標(biāo)數(shù)配inceptor2自標(biāo)洞庫database_test3目標(biāo)數(shù)配inceptor2自標(biāo)洞庫database_test3為滿足招標(biāo)書的技術(shù)指標(biāo)，集群系統(tǒng)必須是4臺(含4臺)以上物理●2顆8核心或以上帶超線程x86指令集CPU的服務(wù)器(比如五、團隊及培訓(xùn)售后服售后服務(wù)組數(shù)據(jù)服務(wù)組培訓(xùn)組實施組(1)項目負(fù)責(zé)人(項目經(jīng)理1名):受企業(yè)法人委托全權(quán)負(fù)責(zé)項(2)技術(shù)負(fù)責(zé)人(1名):負(fù)責(zé)數(shù)據(jù)治理工具全過程的技術(shù)指導(dǎo)，(3)實施組(2名):基于我公司提供數(shù)據(jù)治理工具，指導(dǎo)用戶(4)培訓(xùn)組(2名):針對招標(biāo)方不同業(yè)務(wù)人員，負(fù)責(zé)數(shù)據(jù)治理(5)數(shù)據(jù)服務(wù)組(2名):負(fù)責(zé)配合完成至少兩個業(yè)務(wù)系統(tǒng)的數(shù)(6)售后服務(wù)組(1名):負(fù)責(zé)工具售后服務(wù)。5.2培訓(xùn)方案對數(shù)據(jù)治理工具最大的考驗之一就是系統(tǒng)使用者對應(yīng)用軟件的理解1)工具原理及需求相關(guān)的培訓(xùn)(針對業(yè)務(wù)分析人員)2)工具原理及需求相關(guān)的培訓(xùn)(針對系統(tǒng)管理人員);3)工具部署及技術(shù)維護的培訓(xùn)(針對運維管理人員);護經(jīng)驗，主要承擔(dān)IT運維原理、系統(tǒng)安裝部署、日常運營維護、一星環(huán)科技為了使用戶能夠熟練掌握和使用星環(huán)大數(shù)據(jù)平臺的開星環(huán)科技針對TranswarpDataHub以及ApacheHadoop相關(guān)的技基礎(chǔ)培大數(shù)據(jù)生態(tài)圈2天訓(xùn)以及原理構(gòu)架HDFS技術(shù)原理、集群架構(gòu)析培訓(xùn)數(shù)據(jù)治理工具培訓(xùn)3天數(shù)據(jù)探索與數(shù)用案例3天數(shù)據(jù)治理案例培訓(xùn)●星環(huán)培訓(xùn)課課程表如下：基礎(chǔ)培訓(xùn)集群架構(gòu)技術(shù)開發(fā)培訓(xùn)數(shù)據(jù)治理工具包安裝培訓(xùn)0.5天提供數(shù)據(jù)治理工具包的安裝、配置、