ControlM使用手冊

1、Control-M使用手冊中亦安圖科技發(fā)展（北京）有限公司二零一二年十二月1 體系結構1.1 架構說明CONTROL-M生產管理建立在一個三層結構基礎上，它包括CONTROL-M/Enterprise Manager，CONTROL-M/Server和CONTROL-M/Agents三個組件。Ø CONTROL-M/Enterprise Manager（以下簡稱：CONTROL-M /EM）提供一個統(tǒng)一的，適用于所有平臺的GUI界面。它擁有自己的獨立的數據庫，通過Gateway與Control-M/Server進行連接，管理與控制所有的Control-M/Server與Control

2、-M/Agent。Ø Control-M的服務器（Server）Control-M 處理的核心，它是調度作業(yè)、管理作業(yè)處理流程、提供作業(yè)流狀態(tài)信息的引擎。保存所有作業(yè)的定義及其調度規(guī)則。同一架構體系中Control-M/Server可以有多個（青島銀行目前只有一個）。Ø Control-M/Agent負責在應用服務器上執(zhí)行具體的作業(yè)，如批量調度，文件傳輸等等。Control-M/Agent可安裝在各種操作系統(tǒng)上，并提供如AFT（文件傳輸），DATABASES（數據庫存儲過程），SAP（SAP軟件相關）等功能模塊方便不同的應用進行作業(yè)執(zhí)行。注：另外在CONTROL-M/Ser

3、ver和CONTROL-M/EM Server支持高可用，保障整個系統(tǒng)的不受故障影響。作業(yè)生命周期：1. 作業(yè)在Control-M/EM提供的GUI界面中進行定義。2. 作業(yè)提交到Control-M/Server進行調度。3. Control-M/Server將作業(yè)提交到所需執(zhí)行的Control-M/Agent進行執(zhí)行。4. Control-M/Agent將作業(yè)執(zhí)行信息返回到Control-M/Server。5. Control-M/Server將作業(yè)信息同步到Control-M/EM供GUI界面進行展示。青島銀行架構：青島銀行采用Control-M提供的DB-MIRROR進行災備管理。DB-

4、MIRROR：通過Control-M的自身的數據庫實時同步對作業(yè)調度信息進行實時備份。1.2 Control-M/EMClient components（EM客戶端組件）（3個GUI）：Ø Configuration Manager用于管理EM Server的相關組件以及Control-M/Server和Control-M/Agent。Ø Desktop定制作業(yè)，也可以視為編輯作業(yè)。Ø Enterprise Manager監(jiān)控運行環(huán)境，必要時也可以介入（比如【hold】、【rerun】）。其實就是連接到EM上，看到的是Control-M Server上的Job（只

5、有order或upload后的job才能傳到Control-M Server上，不然也就保存在EM Server上）Server components（EM Server組件）：Ø Gateway處理EM Server與Control-M Server的通信。因為1個EM要對應多個Control-M Server，所以通過Gateway來處理EM具體和哪個Control-M Server通信。Gateway只負責管理誰和誰通信，具體的通信是由CMS來處理。Ø Configuration Management Server（CMS）與Control-M Server的Conf

6、iguration Agent通信，通過它來處理管理員發(fā)布的請求。Ø Global Alerts Server（GAS）管理報警信息給所有的EM GUI。Ø Global Conditions Server（GCS）發(fā)布全局條件給不同的Control-M/Server。Ø Batch Impact Manager（BIM）進行關鍵作業(yè)進行提前告警。Ø Forecast Server幫助查看未來某一天所需執(zhí)行的作業(yè)。Ø Naming Service用于提供EM Server對外的服務接口。Ø Configuration Agent用于與

7、Control-M/Server進行通信，下發(fā)作業(yè)調度指令。1.3 Control-M/Server 和 Control-M/AgentØ Control-M/ServerControl-M/Server通過Gateway與Control-M/EM進行通信，通過Configuration Manager Server與EM進行指令交互。Control-M/Server擁有獨立的數據庫，通過server-to-agent與agent-to-server端口與執(zhí)行作業(yè)的Control-M/Agent進行通信。Ø Control-M/Agent如之前所說，Control-M/Ag

8、ent用于執(zhí)行作業(yè)與收集作業(yè)執(zhí)行情況，并可以在Control-M/Agent上安裝如AFT，Databases等功能模塊（CM）。Ø Remote HostRemote Host為Control-M/Agent的一種遠程發(fā)送指令形式。即通過某一個Control-M/Agent向另一臺未安裝Control-M/Agent的應用服務器去下發(fā)作業(yè)。由于受網絡以及用戶的限制以及Remote Host無法加載功能模塊，所以使用起來相對沒有Control-M/Agent便捷。注：如果所需調度的作業(yè)為IBM的大機，則需要在大機上單獨安裝大機版Control-M/Server進行作業(yè)調度1.4 關鍵

9、詞1.4.1 Database，Definition file，Active Jobs file(AJF)Control-M/EM和Control-M/Server都含有一個數據庫，主要包含兩部分信息：Definition file 和 Active Jobs file（AJF），其中Control-M/EM中：Definition file包含所有被定義的作業(yè)信息。AJF中包含所有正在調度的作業(yè)信息（包括執(zhí)行情況），Control-M/Server會實時將AJF中的作業(yè)調度信息同步給Control-M/EM的AJF，供客戶端能實時查看。Control-M/Server中：Definition

10、 file包含所有提交等待調度的作業(yè)信息。AJF中包含所有正在調度的作業(yè)信息（包括執(zhí)行情況），即EM客戶端組件Enterprise Manager所查看到的信息總結，Control-M/Server中Definition file可以認為是所有需要被處理的作業(yè)的倉庫，AJF就是從這個倉庫中取出的馬上要處理的作業(yè)。1.4.2 Schedule，order，forceSchedule為作業(yè)的調度日期?？衫斫鉃樽鳂I(yè)允許被調度的日期，可在作業(yè)配置的Scheduling頁進行配置，如下如：Job被調度，即Job被放置在Control-M/Server的AJF中，分為自動和手動2種方式：自動調度，每天CO

11、NTROL-M會通過NEWDAY形式自動掃描符合調度日期（Schedule）的作業(yè)，將作業(yè)自動調度。手動調度，主要是通過【order】和【force】操作。【order】方式必須符合調度日期（Schedule）【force】方式就不管作業(yè)的調度日期（Schedule）是否符合注：作業(yè)調度與作業(yè)運行是兩個概念。作業(yè)被調度，并需要滿足前置條件與執(zhí)行時間的情況下才會運行。1.4.3 Write，upload，load and downloadWrite/Load：Write為將作業(yè)從本地客戶端保存至Control-M/EM的Definition File中?？衫斫鉃閮H僅將作業(yè)進行保存。Load則相反

12、，從Control-M/EM的Definition File中將作業(yè)讀取到本地。Upload/Download:upload為將作業(yè)從Control-M/EM的Definition File上傳到Control-M/Server的Definition File中。只有將作業(yè)上傳，Control-M才能通過order或NewDay方式寫入到Control-M/Server的AJF中進行調度。DownLoad則相反。注意：我們在新建一個job后，如果想直接upload操作，系統(tǒng)會返回錯誤。必須先write到EM Server上，然后在upload操作。1.4.4 New Day procedure

13、，User Daily jobs每個Control-M/Server上會在每天的某一時刻運行一個處理過程，這個時刻就被稱為New Day。主要的工作是，刪除前一天的所有job，然后增加新的job到AJF中。具體操作實現可查看。說明：在銀行系統(tǒng)中,工作日和實際日是不一定一致的.例如,如果每天晚上的批處理要在第二天的凌晨4點才能做完,那么就可以指定銀行系統(tǒng)工作日的變更時間為凌晨四點,而不是自然日的凌晨0點.AJF的New Day運行時間就是這樣一個切換時間,即工作日切換時間.工作日和實際日期的不同,是為了滿足業(yè)務系統(tǒng)核算的要求.2 操作2.1 啟停各組件2.1.1 Control-M/EM1. 使

14、用emuser用戶執(zhí)行root_menu命令，并輸入用戶名密碼進行登錄。2. 選擇1 - Activation Menu，其中2 - Start All為啟動 7- Stop All為停止3. 可通過選項1 Check All進行狀態(tài)驗證與查看。2.1.2 Control-M/Server1. 使用emuser用戶執(zhí)行ctm_menu命令。2. 選擇1 - CONTROL-M Manager，其中2 - Start All為啟動 5- Stop All為停止。3. 可通過選項1 Check All進行狀態(tài)驗證與查看。2.1.3 Control-M/Agent1. 使用root用戶，在/home

15、/ctmAgent/ctm/scripts目錄下2. 執(zhí)行./start-ag為啟動Control-M/Agent，執(zhí)行./shut-ag為停止Control-M/Agent3. 可執(zhí)行ps ef|grep p_ctm命令對Control-M/Agent進程進行查看驗證，啟動情況下有以下兩進程root 14614668 1 0 17:42:26 pts/1 0:00 ./ctmAgent/ctm/exe/p_ctmat root 35586086 1 0 17:42:25 pts/1 0:00 ./ctmAgent/ctm/exe/p_ctmag2.2 作業(yè)管理（Desktop）2.2.1 L

16、ogin（登錄）登錄前準備：在C:WindowsSystem32driversetchosts中配置所連接的Control-M服務器的IP與主機名映射1. 打開Control-M Deskto，在Advanced中的填寫主機名與端口號(默認13075)，點擊apply，輸入用戶密碼進行登錄。2.2.2 Load（將作業(yè)從Control-M/EM展示到客戶端）1. 點擊File => Load job form CONTROL-M/EM2. 選擇所需修改或查看的作業(yè)表，點擊Load2.2.3 Write（客戶端界面上的作業(yè)保存到Control-M/EM）1. 點擊菜單欄File =>

17、 Write to CONTROL-M/EM2. 選擇所要保存的作業(yè)表，點擊write（右下角）2.2.4 Upload與Download（向CTM/Server提交與下載作業(yè)）Upload為:將作業(yè)從Control-M/EM的Definition file上傳到Control-M/Server的Definition file，DownLoad則相反點擊菜單欄tools => Table Manager，選中一張作業(yè)表，在菜單欄上可進行upload與download操作。另外upload也可在作業(yè)界面上通過右鍵作業(yè)表進行操作2.2.5 Order（將作業(yè)進行手動調度）1. 對單個作業(yè)進行

18、order，可選中單個作業(yè)，右鍵點擊order JobUpload Table before ordering：調度作業(yè)前先進行upload操作Force：忽略調度日期，強制執(zhí)行作業(yè)Order/Force with Hold：強制調度作業(yè)并且將作業(yè)初始為hold狀態(tài)2. Order一個作業(yè)表點擊菜單欄tools => Table Manager，選中一張作業(yè)表，在菜單欄上點擊order2.2.6 DELETE（刪除作業(yè)）點擊菜單欄tools => Table Manager，選中一張作業(yè)表，在菜單欄上點擊deleteDelete（Remote + Local）：同時刪除Contro

19、l-M/EM與Control/Server中的該作業(yè)表Force Delete（Remote + Local）：強制刪除Local Delete：只刪除Control-M/EM中的該作業(yè)表，如果該已設置成每日調度作業(yè)表，則調度仍然會正常執(zhí)行Remote Delete：刪除Control-M/Server中的該作業(yè)表，在Control-M/EM中仍會保存。2.2.7 設置作業(yè)表為每日NEWDAY自動加載1. 點擊菜單欄tools => Table Manager，選中一張作業(yè)表，在菜單欄上點擊Table Details2. 在User Daily欄中設置SYSTEM（大寫）并保存3. 保存

20、后一定要將該作業(yè)表進行upload操作，將User Daily信息上傳到Control-M/Server4. 通過終端，以ctmuser登錄CTM服務器。執(zhí)行ctmpsm à71 schedule table檢驗已成功設置。確認作業(yè)表的Daily Name為“SYSTEM”，如下圖所示。2.2.8 Save，Open（將作業(yè)保存為本地文件與讀取作業(yè)文件）1. 點擊File => Save將當前界面上的作業(yè)保存為本地文件，Open則為打開本地作業(yè)文件。2.2.9 Find Jobs（查詢作業(yè)）1. 點擊菜單欄Edit => Find Jobs，可對當前界面上的作業(yè)進行搜索。

21、2. 填寫過濾條件，可使用通配符，點擊Find Next進行搜索。2.2.10 Find and Update（作業(yè)批量修改）1. 點擊菜單欄Edit => Find and Update，可對當前界面上的作業(yè)進行搜索。2. 上邊Find為搜索所要修改的作業(yè)條件設置，點擊右邊Find可查出所有作業(yè)列表。3. 中間Update為填寫需要批量修改的內容，點擊右側update進行修改。4. 下圖修改內容為：修改當前界面上所有作業(yè)的Max Wait參數為1 Job Template（作業(yè)模板）1. 點擊菜單欄Tools => Template Manager，可對當前界面上的

22、作業(yè)進行搜索2. 點擊Add Job Template進行模板設置3. 在作業(yè)定義時可以選擇模板，也可將目前作業(yè)設置成模板。2.2.12 Authorization（用戶權限設置）1. 點擊菜單欄Tools => Authorizations，進行用戶權限設置2. 權限分為用戶與組，如果改用戶屬于該組，那該組的所有權限該用戶都將默認擁有3. 權限配置：General：用戶基本信息及密碼設置Member Of：用戶所屬組Active：用戶在監(jiān)控視圖中Control-M Enterprise Manager (Default)所能查 看的作業(yè)與執(zhí)行的權限Privileges：用戶對各組件的操

23、作權限Tables：用戶對作業(yè)表的操作權限Prerequstite Conditions：用戶對Condition條件的操作權限Owmer：允許調度的作業(yè)定義用戶Control Resources：用戶對控制資源設置的權限Quantitave Resources：用戶對定量資源設置的權限Gblbal Condition：用戶對全局變量設置的權限Calenders：用戶對日歷表的設置權限2.2.13 Load Forecast（查看未來某一天將調度的作業(yè)）1. 點擊菜單欄File => Load Forecast，可對當前界面上的作業(yè)進行搜索。2. 選擇調度日期，點擊Load進行打開。3.

24、 展示結果。2.3 普通類型作業(yè)定制2.3.1 GeneralControl-M：作業(yè)所屬的Control-M/Server名Job Type：作業(yè)類型，例如：OS（普通作業(yè)），AFT（文件傳輸），FileWatch（文件監(jiān)測）Databases（數據庫存儲過程）Job Name：作業(yè)名（系統(tǒng)名_操作簡稱）Task Type：Job 后臺運行的腳本等等。Detached 運行可執(zhí)行的文件。Command 執(zhí)行操作系統(tǒng)命令。Dummy 不負責job和系統(tǒng)命令的執(zhí)行，而是指示control-M執(zhí)行后續(xù)動作，如增加輸出條件等。File Name：文件名（腳本程序名）File Path：路徑Comma

25、nd：命令（也可用于全路徑執(zhí)行腳本）Description：作業(yè)描述（可使用中文）Parent Table，Application，Group：三層分類分組。Parent Table就是該作業(yè)的Table名Owner：腳本或命令執(zhí)行用戶Author：作業(yè)的制定人（用于描述）2.3.2 Scheduling作業(yè)允許調度日期，如允許每天調度，則選擇所有的Month Days與Months即可2.3.3 ExecutionNode ID/Group：填寫該作業(yè)所需運行CTM/Agent的名字（該名字可在CCM中查看）Wait for confirmation：作業(yè)運行時是否需要進行手動確認（測試時可

26、進行勾選）Priorit：作業(yè)搶占系統(tǒng)資源優(yōu)先級（0<9<a<z<A<Z<AA）Critical：作業(yè)搶占系統(tǒng)資源最高級Submit：作業(yè)允許調度的時間范圍。例如：19:00 to _ 表示作業(yè)19點之后到第二天NEWDAY之前該作業(yè)滿足前置condition的情況下運行。1900 to 2100表示作業(yè)19點之后到21點時間段范圍內如果前置條件滿足則進行調度，如果前置條件在21點之后到達，則該作業(yè)不運行。Cyclic：作業(yè)循環(huán)，點擊Set后可以進行循環(huán)運行的設置。Maximum：作業(yè)最多運行次數MaxWait：作業(yè)運行出錯或未運行在AJF（監(jiān)控界面）中保存

27、的的天數。（建議上線時設置為1）2.3.4 ConditionsIn Condition：作業(yè)運行所需的前置條件。Out Condition：該作業(yè)執(zhí)行完成生成的條件。（建議格式為：JobName-ENDED-OK）Condition設置可以為一對一，一對多和多對一。2.3.5 Resources1. Quantitative Resources 數量資源，可控制作業(yè)并發(fā)數需要在Control-M Enterprise Manager (Default)中 Tools => Quantitative Resources中設置資源名與數量作業(yè)配置時可配置該作業(yè)使用該資源的份額。2. Con

28、trol Resources 控制資源，類似文件、數據庫，將其設置為共享或者獨享形式?？刂瀑Y源則用于控制不同的作業(yè)對系統(tǒng)共享資源的使用.假設一個作業(yè)A在寫一個文件時,另外兩個需要從此文件中讀數據的的作業(yè)B,C不能啟動,于是你可以為此文件定義一個控制資源,作業(yè)A定義此資源為排它性資源(exclusive),作業(yè)B,C中定義此資源為共享資源,這樣,當作業(yè)調度執(zhí)行時,如果A在執(zhí)行,則B, C不能被調度執(zhí)行，同一時間只能有一個作業(yè)占有該資源。2.3.6 Set1. 設置變量，供作業(yè)定義或作業(yè)執(zhí)行的腳本中使用。常用：%$CALCDATE %DATE-1 代表作業(yè)運行時當前系統(tǒng)日期的前一天，格式為YYYY

29、MMDD%CALCDATE %ODATE-1 代表作業(yè)運行時當前系統(tǒng)日期的前一天，格式為YYMMDD%$ODATE代表作業(yè)的調度日期，格式為YYYYMMDD%ODATE代表作業(yè)的調度日期，格式為YYMMDD在作業(yè)定義時，如命令行中可用%PARM形式使用。在執(zhí)行的腳本中也可通過$PARM進行讀取。2.3.7 Steps用于作業(yè)的異常邏輯處理例如 ON Statement Statement=* Code=COMPSTAT=1DO OK以上代表當作業(yè)返回碼是1的情況下 作業(yè)標識為成功ON Statement Statement=* Code=NOTOKDO Force-Job Table=XXXX

30、 JobName=XXX Date=ODAT以上代表作業(yè)執(zhí)行出錯的情況下強制執(zhí)行Force-Job所配置的作業(yè)DO操作中說明： OK 作業(yè)執(zhí)行成功NOTOK 作業(yè)執(zhí)行失敗Rerun作業(yè)重跑Stop Cyclic停止循環(huán)Set-Var 設置變量Shout告警Force-Job 強制執(zhí)行作業(yè)Sysout屏幕輸出Condtiion對Condition進行添加或刪除Mail發(fā)送郵件RemedyRemedy軟件相關2.3.8 PostProc 作業(yè)處理結束后來發(fā)送告警（在alert告警臺生成告警信息）【PostProc】when中,例如late sub 9:00 這個作業(yè)晚于9:00還未被agent執(zhí)行

31、，進行告警。late time 9:00 這個作業(yè)完成時間晚于9:00，進行告警。executing >30 執(zhí)行時間超過30分鐘，進行告警。Urgency中選擇告警級別。在Message中可以設置自定義告警信息。2.4 特殊類型作業(yè)的配置2.4.1 AFT（文件傳輸類型作業(yè)）帳號配置：1. 登陸Control-M Configuration Manager，點開Agent on control（control某Control-M/Agent的名字），選擇CM(FILE_TRANS)。2. 右鍵點擊右側CM(FILE-TRANS)行，列出對話框，選擇Account Management，

32、彈出AFT賬戶管理菜單：3. 添加賬戶：點擊左上角“+”號（New Account），輸入一個Account Name，選擇一個EM Users，點擊“Add”將其加到右側欄：4. 設置host1的信息。通訊協(xié)議缺省為FTP，可修改為SFTP：（如為Agent本機則直接勾選Local CM）5. 設置host2的信息：6. 點擊“Next”：7. 點擊“Next”，顯示之前的配置信息：8. 點擊“Test”，測試設置是否正確：9. 點擊“Finish”，完成AFT賬號設置。作業(yè)配置：10. 創(chuàng)建一個新的作業(yè)，選擇CONTROL-M，選擇Job Type為AFT。點開Execution欄，填寫N

33、ode ID:XXX(XXX為賬號所在Control-M/Agent名字)11. 打開FILE_TRANS欄，點擊“Load”，選擇賬號，點擊“OK”。12. 填寫傳輸的指定路徑和文件，Adcanced中可對傳輸的源文件與目標文件進行特殊處理設置（如傳輸完成后進行權限修改等）。13. 其他信息與普通作業(yè)一樣，正常填寫。2.4.2 FileWatch（文件監(jiān)測作業(yè)）監(jiān)測單個文件1. 將作業(yè)Job Type選擇File Watcher，注：owner一定要填寫Control-M/Agent安裝時所創(chuàng)建的用戶（ctmAgent/ctmagent）2. 填寫FileWatch欄：Path：所檢測文件的

34、絕對路徑；備注：每層路徑必須是ctmagent用戶有權限訪問的；Mode：CREATE檢測文件生成；DELETE檢測文件刪除（不常用）Min detected size：文件有效檢測的最小容量，單位字節(jié)。通?？稍O置為0；Interval between file searches：檢測文件生成的輪詢時間，單位秒；Interval between filesize comparison iterations：檢測文件容量變化的輪訓時間，單位秒；Number of iterations：檢測文件容量變化的輪詢次數Time limit for the process：作業(yè)執(zhí)行時間，單位分；或設置時間

35、段，如下：Starting time for detecting files：作業(yè)開始時間；Absolute stop time：作業(yè)結束時間；監(jiān)測多個文件1. 輪詢多個文件需要使用底層utility來實現，配置作業(yè)為普通類型，執(zhí)行命令ctmfw input 配置文件(全路徑)該配置文件需放置在所需輪詢文件的應用服務器上2. 配置文件編寫如下：INTERVAL：輪詢間隔時間設置MIN_SIZE：文件監(jiān)測最小SIZEMIN_DETECT：輪詢到文件后文件大小比較次數WAIT_TIME：最長監(jiān)測時間（分鐘），超過該事件，如有文件未監(jiān)測到則作業(yè)報錯。2.4.3 DataBase存儲過程數據庫存儲過程

36、帳號配置：1. 需要首先在需要調用存儲過程的Control-M/Agent上安裝存儲過程插件。然后選擇帳號管理2. 選擇數據庫類型與版本：3. 填寫相關數據庫連接信息：4. 設置相關連接參數：數據庫存儲過程作業(yè)配置：5. 創(chuàng)建一個新的作業(yè)，選擇CONTROL-M，選擇Job Type為Databases。點開Execution欄，填寫Node ID:例如PAM_81_50(PAM_81_50為賬號所在Control-M/Agent名字)6. 打開Databases欄，點擊“Load”，選擇賬號，點擊“OK”。7. 填寫或選擇存儲過程的SCHEMA與NAME：8. 其他作業(yè)參數正常配置2.4.4 AS400類型作業(yè)1. 選擇Job Type為OS/400 Program或OS/400 Full。2. 詳細配置可請OS400工程師參與進行作業(yè)配置。3. 其他頁配置與普通作業(yè)相同。2.5 監(jiān)控管理（Enterprise Manager）2.5.1 查看當天作業(yè)（AJF）1. 菜單欄File =