Trinity-V3.6-2011

1、Trinity v3.6產(chǎn)品及功能介紹探智軟件科技（上海）有限公司2012-03超越繁雜超越繁雜 盡享極速盡享極速Agenda Trinity -整體架構(gòu) Trinity - JCS 功能介紹 Trinity - Data Management功能介紹2022/5/12關(guān)于Trinity2022/5/13Trinity 是探智軟件基于多年在MPP數(shù)據(jù)倉庫建制經(jīng)驗基礎(chǔ)上于2008年正式推出的一套適合海量數(shù)據(jù)處理的ETL工具2009年底，Trinity提供GP，Oracle，DB2等主流數(shù)據(jù)庫的海量數(shù)據(jù)加載接口2010年7月推出Trinity V2.5，具備更強大的協(xié)同開發(fā)功能2011年1月推出T

2、rinity V3.0，具備數(shù)據(jù)質(zhì)量，MQ，Web service發(fā)布，單步調(diào)試等眾多強大功能2012年1月推出V3.5 資源監(jiān)控，審計，調(diào)度，impact analysis目前客戶包括：臺灣遠(yuǎn)傳電信，內(nèi)蒙移動，廣西電信，金通證券，浦發(fā)銀行，武漢鋼鐵，HOLA，吉野家，建達(dá)藍(lán)德，湖州運管，溫州運管等眾多行業(yè)客戶Trinity 是什么?2022/5/14Trinity印象2022/5/15B/S架構(gòu)海量Writer組件Server和Agent全面的HA功能，并實現(xiàn)作業(yè)級的均衡負(fù)載集成數(shù)據(jù)質(zhì)量組件，使ETL設(shè)計工作更加規(guī)范和高效同時支持單點調(diào)試和協(xié)同開發(fā)，提高開發(fā)效率靈活強大的調(diào)度功能更加及時有效

3、的客戶支持Agenda 關(guān)于Trinity Trinity - JCS 功能介紹 Trinity - Data Management功能介紹2022/5/16Trinity - JCS 系統(tǒng)架構(gòu)圖 2022/5/17Server HeartbeatDM DebugData ProfileMQ Service (NRT)Data Quality*Web ServiceVirtual AgentWebUI 設(shè)計界面 管理界面 元數(shù)據(jù)設(shè)計界面2022/5/18JF Designer 設(shè)計界面2022/5/19TaskConsole監(jiān)控界面2022/5/110jobs and flowsnormal

4、jobLegendfailed jobsuccessful jobnormal flowfailed flowsuccessful flowsearch criteriaJCS Servers 狀態(tài)圖示JCS Agents 狀態(tài)圖示W(wǎng)eb TaskConsole監(jiān)控界面Agenda 關(guān)于Trinity Trinity整體架構(gòu) Trinity - Data Management功能介紹2022/5/112權(quán)限及SSO機制2022/5/113可針對使用者或角色進行權(quán)限設(shè)定工作, 權(quán)限可分成:查看作業(yè)新增作業(yè)刪除作業(yè)修改作業(yè)執(zhí)行作業(yè)重新執(zhí)行權(quán)限可細(xì)分到單獨作業(yè)或整個作業(yè)類別賬號為系統(tǒng)中最基本的操作單

5、位每一名使用者有一個賬號角色為輔助的類別，可用以簡化權(quán)限的管理一個賬號可以擁有多重角色，可根據(jù)其所擁有的角色累加其對應(yīng)得權(quán)限可結(jié)合LDAP服務(wù)器進行使用者認(rèn)證動作Virtual Agent排程機制2022/5/115n 排程條件為公用的資源n 多個作業(yè)或流程可共用一組排程條件，方便進行調(diào)整n Trinity 中可彈性的設(shè)定工作執(zhí)行拍成時間n 每天n 每周n 每月n 自定日期n 同一天可設(shè)定多個執(zhí)行時段工作日2022/5/116n 排程時可以根據(jù)客戶指定，排除特定日期或者時間n 在指定時間里，JOB或者JOB flow不會啟動發(fā)布2022/5/117利用PostgreSQL數(shù)據(jù)庫發(fā)布利用Trin

6、ity工具發(fā)布1.導(dǎo)出全部知識庫（dev-sit-uat-prd)2.導(dǎo)出Job Flow3.導(dǎo)出Job作業(yè)關(guān)系管理Job Flow 作業(yè)流Job Dependency 作業(yè)依賴作業(yè)流說明作業(yè)流程是由多個作業(yè)組合而成的一項群組.執(zhí)行的順序是由層次(Level)來區(qū)分的, 一個作業(yè)流程中最多可以包含64個層次.每一層次當(dāng)中可以包含32個作業(yè).作業(yè)間的執(zhí)行順序是根據(jù)流程條件來決定, 第一層的作業(yè)會無條件的啟動執(zhí)行.2022/5/119Level 1Level 2Level 3Job Flow作業(yè)相關(guān)條件(Job Dependency)作業(yè)相關(guān)條件是用來在準(zhǔn)備執(zhí)行某一項工作時用來檢查是否滿足所設(shè)定的

7、條件.當(dāng)條件成功時, 才會開始執(zhí)行工作.當(dāng)條件不成功時則不會允許此項工作的執(zhí)行, 每隔一段時間JCS Server會重新檢查條件直到成功.2022/5/120(frequency)10:00am(frequency)10:00amdependencyS() AND TX() = THISJob B會等到Job A執(zhí)行成功后才會開始執(zhí)行完整的執(zhí)行機制2022/5/121可設(shè)定在作業(yè)執(zhí)行錯誤時自動再次重新執(zhí)行 可設(shè)定等待時間(Retry Interval)最多嘗試次數(shù)(Max Retry Time)從頭開始執(zhí)行(From Beginning )從錯誤點開始執(zhí)行(From Breakpoint )可

8、指定允許的時間區(qū)段(Time Window)避開系統(tǒng)忙碌時段執(zhí)行日志查詢功能2022/5/122作業(yè)執(zhí)行日志會收集回來記錄在Repository中 日志內(nèi)容會進行壓縮處理以節(jié)省保存空間 使用者透過監(jiān)控界面可查詢過去執(zhí)行過的每一次記錄與日志 日志有三種方式可以查詢：Console界面知識庫訪問（JDBC，ODBC，Postgres Client）文本文件方式保存至服務(wù)器（可以設(shè)置保存周期，定期后臺自動刪除）執(zhí)行日志查詢界面2022/5/123透過 Task Console 可查詢到每一次作業(yè)執(zhí)行的相關(guān)信息與執(zhí)行日志.信息通知功能2022/5/124訊息種類有電子郵件與行動短訊兩種 電子郵件為內(nèi)建

9、功能 行動短訊需客制化訊息發(fā)送時機有 :作業(yè)開始執(zhí)行時作業(yè)執(zhí)行完成時作業(yè)執(zhí)行成功時作業(yè)執(zhí)行失敗時電子郵件方式可將作業(yè)執(zhí)行日志當(dāng)成附件傳送可針對單一作業(yè)或整個作業(yè)類別來設(shè)定訊息發(fā)送功能訊息發(fā)送對象可給單一使用者或一個群組訊息通知功能可在異常狀況發(fā)生時實時通知相關(guān)人員 多樣的監(jiān)控模式_All View2022/5/125多樣的監(jiān)控模式_Tree View2022/5/126豐富的執(zhí)行模式2022/5/127Run JobBatch Run jobGroup Run job審計功能2022/5/128Agenda 關(guān)于Trinity Trinity 整體架構(gòu) Trinity 管理功能介紹2022/5

10、/129Data Management 說明2022/5/130XML ConfigurationFileActual class will be loaded by Wrapper using ClassLoader during runtimeWrapper has its own thread and each reader/transformer/writer is running in a individual thread. Wrapper will also monitor each worker threads execution status.Wrapper(Initiali

11、ze/Statistic Collect/Logger)Plug-InData Management 的特點 多種模式，包含ETL，ELT，也可直接調(diào)用各種SQL腳本 支持對數(shù)據(jù)質(zhì)量稽核前的概括描述data profiling也支持對數(shù)據(jù)質(zhì)量的規(guī)則制定，自動矯正data quality2022/5/131團隊開發(fā)（Version Control） 團隊協(xié)作，協(xié)同開發(fā) 保存版本，讓版本可以回溯 增加修改歷史，讓后續(xù)開發(fā)者知其所以然2022/5/132數(shù)據(jù)概貌-Data Profile ETL的重要組成部分，ETL設(shè)計的開始 通過Profile制定更加有效的規(guī)則 豐富的內(nèi)嵌規(guī)則（三十種以上）202

12、2/5/133數(shù)據(jù)管控 先制定規(guī)則 評分 跟蹤2022/5/134參數(shù) Domain級別參數(shù) Business Entity級別的參數(shù)，Job級參數(shù) Component級別的參數(shù)2022/5/135數(shù)據(jù)質(zhì)量剖析框架斷點調(diào)試（Debug） 便于開發(fā)中發(fā)現(xiàn)定位問題 提高解決問題的效率2022/5/137支持的數(shù)據(jù)讀取類型(Data Reader)文件檔案文件檔案 定長格式, 變長分隔符格式, CSV 格式，Excel，DBF（Foxbase，F(xiàn)oxpro)，XML數(shù)據(jù)庫數(shù)據(jù)庫 只要有數(shù)據(jù)庫提供的 JDBC driver, Trinity就能直接從數(shù)據(jù)庫中讀取數(shù)據(jù). AS400, DB2, Info

13、rmix, MS SQL Server, MySQL, Oracle, PostgreSQL, Greenplum, Sybase, . 可自定讀取數(shù)據(jù)的SQL SELECT 語法Application SAP Siebel2022/5/138支持的數(shù)據(jù)寫入類型(Data Writer) Trinity 提供了多種的提供了多種的Writer來進行數(shù)據(jù)的輸出來進行數(shù)據(jù)的輸出 文件輸出方式: 可輸出固定長度, 變動長度與CSV 格式的文本文件，excel，XML. 數(shù)據(jù)庫輸出方式: 透過JDBC Driver, 可將數(shù)據(jù)以Insert, Batch Insert, Upsert, Update的方

14、式進行更新.2022/5/139 另外也提供了數(shù)據(jù)庫的大量批量另外也提供了數(shù)據(jù)庫的大量批量加載工具來加速數(shù)據(jù)輸出的效能加載工具來加速數(shù)據(jù)輸出的效能 DB2 - Load Command Oracle - SQL Loader PostgreSQL- Copy Table command Greenplum-gpfdist writer(External table writer) SQL Server - BCP Writer Sybase IQ - Load Table command Teradata - Fastload, Multiload, TpumpExt.Table 集成GP的g

15、pfdist集成gpfdist的快速加載功能簡化gpfdist的使用，并集成進trinity2022/5/140DBFlat FileFlat FileFlat FileGreenplumETLETLGreenplumDBFlat FileFlat FileFlat FileNo TrinityUse TrinityTransformer 數(shù)據(jù)的轉(zhuǎn)換 Trinity 中提供了 Transformer可針對數(shù)據(jù)字段進行處理Pre-Rule, 可設(shè)定在每一筆數(shù)據(jù)進行轉(zhuǎn)換前進行前置處理, 以獲得特定值放進變量中提供給后續(xù)的轉(zhuǎn)換規(guī)則來處理Lookup, 可設(shè)定對照表對數(shù)據(jù)進行查找比對的工作. 所查找的

16、數(shù)據(jù)來源可以是靜態(tài)定義或透過 SQL 于執(zhí)行時期動態(tài)產(chǎn)生Transform, 提供許多轉(zhuǎn)換規(guī)則函數(shù)對數(shù)據(jù)進行處理，包括匯總函數(shù)，可以做匯總等操作Filter, 可設(shè)定過濾條件對數(shù)據(jù)進行檢核來剔除掉不符合的數(shù)據(jù)2022/5/141Data Router 對數(shù)據(jù)進行分流 Data Router可用來將數(shù)據(jù)進行分流 透過設(shè)定分流過濾條件來決定數(shù)據(jù)的走向2022/5/142CDC Transformer 增量數(shù)據(jù)獲取提供CDC Transformer 來對數(shù)據(jù)進行增量數(shù)據(jù)的比對, 提供給其它的 Plug-in來作進一步的應(yīng)用.經(jīng)過CDC處理過后的數(shù)據(jù)會加上一個字段用來標(biāo)示數(shù)據(jù)處理類型 I- Inser

17、t U- Update D- Delete來源數(shù)據(jù)無需Timestamp字段即可比較出有增量的數(shù)據(jù)來源數(shù)據(jù)必須要有Unique Key的定義才能執(zhí)行CDC比對可節(jié)省后續(xù)加載數(shù)據(jù)的工作時間2022/5/143Union 跨數(shù)據(jù)庫的整合器 提供數(shù)據(jù)整合中常用的跨數(shù)據(jù)庫系統(tǒng)的Union功能 跨數(shù)據(jù)庫系統(tǒng)包括文件系統(tǒng)，各種Trinity支持的數(shù)據(jù)庫系統(tǒng)2022/5/144Normlizer 行轉(zhuǎn)列 把寬表轉(zhuǎn)為縱表，提供范式化的工具2022/5/145Store Procedure 存儲過程 調(diào)用存儲過程，可以在job中應(yīng)用，獲取返回值，向后續(xù)組件傳遞參數(shù)2022/5/146Trinity SQL強化指

18、令 除了一般的SQL指令之外，Trinity SQL Executor提供了專屬的SQL強化功能，使在絕大部分?jǐn)?shù)據(jù)庫中都只能在存儲過程，函數(shù)中使用的邏輯判斷，流程控制，錯誤控制，交易控制等功能在Trinity中實現(xiàn)2022/5/147External Command 調(diào)用外部命令External Command組件用于對perl，shell，sqlc等腳本進行外部調(diào)用，也便于對外部的ETL工具進行整合調(diào)度。抓取返回信息腳本信息顯示腳本可以使用trinity內(nèi)部變量（包括可以使用Trinity中的connection信息）2022/5/148批量作業(yè)維護外部作業(yè)及關(guān)系批量導(dǎo)入作業(yè)及關(guān)系維護模板定

19、制外部作業(yè)及關(guān)系批量導(dǎo)入對應(yīng)Perl，Shell，SQL等腳本導(dǎo)入大批量（幾千甚至近萬）；每日維護交付用戶自己，需要一個模板及流程模板舉例刪除作業(yè)模板更改作業(yè)狀態(tài)關(guān)系模板JCS Command 命令行方式JCS Command用于Trinity被外部調(diào)用整合，比如Portal，或者客戶現(xiàn)有的平臺。2022/5/152WS Web Service服務(wù)用于外部調(diào)用，在外部Web程序中調(diào)用觸發(fā)Trinity的ETL Job2022/5/153MQ 實時數(shù)據(jù)倉庫實現(xiàn)企業(yè)級的數(shù)據(jù)實時整合針對MDM和一些相關(guān)應(yīng)用，給出數(shù)據(jù)解決方案針對MQ工具，提供數(shù)據(jù)整合接口2022/5/154DM Job 1DM Job 2DM Job 3DIS MQServiceMQ Source 1MQ Source 1Queue 1Queue 2Queue 3XMLMessage和其他工具的比較（一）支持否部分支持支持支持支持支持支持否帶參數(shù)支