DSGRealSync日常維護(hù)手冊(cè)

/日常維護(hù)手冊(cè)迪思杰（北京）數(shù)碼技術(shù)有限公司\o"1-3"\h\z\u\l"175548818"1數(shù)據(jù)同步175548818\h3\l"175548819"1.1首次全同步及環(huán)境概述175548819\h3\l"175548820"1.1.1首先在目標(biāo)端初始化復(fù)制進(jìn)程175548820\h3\l"175548821"1.1.2在源端初始化復(fù)制進(jìn)程175548821\h4\l"175548822"1.1.3全同步過程中源端日志監(jiān)控175548822\h4\l"175548823"1.1.4全同步過程中目標(biāo)端的日志監(jiān)控175548823\h6\l"175548824"1.2單獨(dú)同步1張或幾張表175548824\h7\l"175548825"2如何設(shè)置日志分析間隔175548825\h8\l"175548826"3日常運(yùn)行過程中的日志監(jiān)控175548826\h8\l"175548827"3.1源端日常分析的進(jìn)度175548827\h8\l"175548828"3.2目標(biāo)端日常裝載的進(jìn)度175548828\h9\l"175548829"3.3源端日常傳送的進(jìn)度175548829\h10\l"175548830"3.4目標(biāo)端日常接收的進(jìn)度175548830\h10\l"175548831"3.5源端日常是否1積壓175548831\h11\l"175548832"3.6目標(biāo)端日常是否1積壓175548832\h11\l"175548833"3.7源端傳送的具體信息175548833\h12\l"175548834"3.8目標(biāo)端裝載的具體信息175548834\h12\l"175548835"4維護(hù)需要過濾的操作175548835\h13\l"175548836"4.1過濾操作的意義175548836\h13\l"175548837"4.2支持的過濾操作種類175548837\h13\l"175548835"5出現(xiàn)停機(jī)情況時(shí)軟件的維護(hù)操作175548835\h14數(shù)據(jù)同步首次全同步及環(huán)境概述此種情況操作發(fā)生在首次初始化同步或是發(fā)生了如程序出現(xiàn)問題、或歸檔數(shù)據(jù)時(shí)開啟了大量不寫日志的操作等特殊情況下，需要重新全同步所進(jìn)行的操作。首先在目標(biāo)端初始化復(fù)制進(jìn)程$執(zhí)行停止當(dāng)前復(fù)制進(jìn)程初始化復(fù)制環(huán)境，注意該命令只在需要進(jìn)行全同步時(shí)才運(yùn)行，執(zhí)行該命令后現(xiàn)有的復(fù)制關(guān)系將被清空，只能重新發(fā)起全同步操作后才能開始同步工作。啟動(dòng)復(fù)制進(jìn)程. 檢查復(fù)制進(jìn)程啟動(dòng)狀態(tài)[]$124991009:46200:00:00400012500124991009:46200:05:204000125191009:46200:00:001000011252112519009:46200:00:00100001125181009:46200:00:000112522125181709:46200:09:0901125091009:46200:00:001112511125091909:46200:09:5211125231009:46200:00:002112524125232209:46200:11:3221125121009:46200:00:003112516125122709:46200:13:5531124931009:46?00:00:000043200上圖為4個(gè)并發(fā)進(jìn)程的啟動(dòng)情況，現(xiàn)場(chǎng)–s進(jìn)程啟動(dòng)個(gè)數(shù)可能根據(jù)現(xiàn)場(chǎng)啟動(dòng)的并發(fā)數(shù)不同而不同。在源端初始化復(fù)制進(jìn)程$執(zhí)行停止當(dāng)前復(fù)制進(jìn)程初始化復(fù)制環(huán)境，注意該命令只在需要進(jìn)行全同步時(shí)才運(yùn)行，執(zhí)行該命令后現(xiàn)有的復(fù)制關(guān)系將被清空，只能重新發(fā)起全同步操作后才能開始同步工作。啟動(dòng)復(fù)制進(jìn)程檢查復(fù)制進(jìn)程啟動(dòng)狀態(tài)[]$194451009:45500:00:004002194611009:45500:00:00400019469194614409:45500:22:004000194551009:45500:00:0011945619455009:45500:00:001194341009:45?00:00:0043200194331009:45?00:00:0043200如上圖所有進(jìn)程均正常啟動(dòng)表明復(fù)制進(jìn)程正常啟動(dòng)3)源端下執(zhí)行$$>即可正常發(fā)起全同步操作全同步過程中源端日志監(jiān)控$1）通過–f命令查看全同步抓取日志進(jìn)程的日志信息在同步導(dǎo)出的過程中顯示導(dǎo)出百分之多少和導(dǎo)出多少M(fèi)，可以監(jiān)控到源端同步導(dǎo)出的進(jìn)度。/*開始抽取表，顯示百分比（0.81%），已經(jīng)抽取的大小（10），讀取速度（R9:1.11），壓縮速度（C0:0.00），寫速度（W0:0.13），平均速度（P:1.11），總共耗時(shí)（E:322）*/1.63%20(R9:3.331:16.581:0.05:1.66:0:651)2.44%30(R9:3.335:11.111:0.06:2.00:0:1010)3.25%40(R9:3.332:11.112:0.04:2.22:0:1411)4.07%50(R9:3.333:7.144:0.03:2.38:0:1699)4.88%60(R9:3.331:12.502:0.08:2.50:0:2022)5.69%70(R9:3.332:0.002:0.00:2.59:0:2297)()12621441554025122621451120262145(0)線程、日志大小、號(hào)、標(biāo)志位、塊大小、下一塊、標(biāo)志位（8為當(dāng)前日志）15545-100245(0)-112849/*正在處理15545號(hào)日志，在100245塊，偏移量0*/6.50%80(R9:3.330:40.001:0.06:2.67:0:2586)0x0000.0045612004-8-19:12:36:30(U:1:1:400):15545,:110484,:4480x0000.0045b72004-8-19:12:36:40(U:1:0:718)$7.32%90(R9:1.880:0.000:0.06:2.55:0:2882)2）查看導(dǎo)出結(jié)束的標(biāo)志在日志中出現(xiàn)如下的打印信息：1950(2938)14175248011094130185.6930539.13131418.00111625.83(63.00%)575.91(s)......顯示導(dǎo)出完成3）通過–f命令查看發(fā)送數(shù)據(jù)進(jìn)程的信息進(jìn)程會(huì)把同步期間產(chǎn)生新交易的1進(jìn)行發(fā)送，看這個(gè)文件是否有傳送新的1全同步過程中目標(biāo)端的日志監(jiān)控1）$通過–f0命令查看目標(biāo)端目錄下的0、15文件，看是否同步的文件在正常裝載以及每個(gè)隊(duì)列裝載到的具體1文件個(gè)數(shù)，以開始的文件為首次同步產(chǎn)生的日志文件。2）$通過命令查看目標(biāo)端目錄下的0、1、目錄中源端同步導(dǎo)出傳到這些目錄下的1文件是否在減少，文件有兩列第一列的數(shù)字表示裝載了多少個(gè)1文件，第二列的數(shù)字表示從源端接收到了多少個(gè)1文件，所以可以通過判斷第一列的數(shù)字是否增長(zhǎng)，來確定目標(biāo)端同步裝載的進(jìn)度。3）$通過查看目標(biāo)端目錄下的文件，如果這個(gè)文件不斷的增大說明源端導(dǎo)出傳送過來的數(shù)大于目標(biāo)端同步裝載的1個(gè)數(shù)；如果這個(gè)文件在不斷的減少說明源端傳送過來的數(shù)小于目標(biāo)端同步裝載的1個(gè)數(shù)，或源端導(dǎo)出完畢不再傳送目標(biāo)端在不斷的裝載1文件；當(dāng)文件里面的數(shù)表示源端導(dǎo)出傳送到目標(biāo)端，目標(biāo)端還有多少個(gè)1未裝的個(gè)數(shù)，所以當(dāng)文件里面的數(shù)為零時(shí)，表示目標(biāo)端同步裝載完成。4）$通過–f0查看目標(biāo)端目錄下的0文件，以開始的文件為增量裝載的日志文件:112007-06-12:17:31:41:6000(2086):212007-06-12:17:31:41:0060(2086):312007-06-12:17:31:41:0600(2086):412007-06-12:17:31:41:56000(2086):512007-06-12:17:31:41:56000(2086):612007-06-12:17:31:41:56000(2086)的日志，說明目標(biāo)端同步裝載完成。5)$通過查看目標(biāo)端的裝載情況。單獨(dú)同步1張或幾張表由于只是想單獨(dú)同步1張或幾張表，并且不影響其他現(xiàn)在正在復(fù)制表的正常復(fù)制，而且要單獨(dú)同步的表已經(jīng)在下面文件中中的項(xiàng)中，所以只需要修改＝中中的內(nèi)容，改為要單獨(dú)同步1張或幾張表的表名即可。操作步驟如下：$當(dāng)前文件內(nèi)容為：’’’’如果需要單獨(dú)同步用戶下的表，需要修改文件’’’’’’按需求修改完文件后進(jìn)入源端目錄$$>注：只有執(zhí)行此命令后，才會(huì)再此查詢里配置信息，只是修改完或起停進(jìn)程并不重新讀取里配置信息查看源端文件如果有出現(xiàn)表示源端新加的表同步完成，查看目標(biāo)端0進(jìn)行實(shí)時(shí)裝載后，表示新同步的表目標(biāo)端同步完成，進(jìn)入實(shí)時(shí)同步階段如何設(shè)置日志分析間隔$$>:5000013該日志間隔可以在1－5秒間任意設(shè)置，設(shè)置成幾秒中每隔幾秒鐘就會(huì)去讀取一次在證券行業(yè)推薦使用3秒注：3讀取日志間隔日常運(yùn)行過程中的日志監(jiān)控源端日常分析的進(jìn)度1）查看源端目錄下的文件，可以查到源端已經(jīng)分析完的數(shù)據(jù)庫日志文件。第一列表示主機(jī)節(jié)點(diǎn)，第二列表示已經(jīng)分析完的數(shù)據(jù)庫日志文件號(hào)。2）查看源端目錄下的文件，可以查看源端分析到什么時(shí)間的交易。如下的日志：2007/06/1217:26:2012048002355122047990110x54c92235.187048.02007-06-12:17:26:20:235.187048.0(:235.204799)...2007-06-12:17:26:21:235.197287.460(:235.204799)0x0000.054c92d42007-6-12:17:26:15(U:1:2488842:0:0)紅色時(shí)間表示源端數(shù)據(jù)庫交易操作時(shí)間藍(lán)色時(shí)間表示源端分析此交易的時(shí)間兩者相減可以得出源端分析滯后的時(shí)間3）查看源端目錄下的文件，可以知道源端分析出交易的具體信息。如下的日志：2007-06-12:17:26:37:5242864804440002007-06-12:17:26:38:1290520195560002007-06-12:17:28:19:5242864804440002007-06-12:17:28:20:129052019556000紅色部分表示：源端傳送此1文件的系統(tǒng)時(shí)間藍(lán)色部分表示：源端傳送此1文件的大小紫色部分表示：源端傳送此1文件的具體交易類型及相應(yīng)交易類型的個(gè)數(shù)目標(biāo)端日常裝載的進(jìn)度查看目標(biāo)端目錄下的0文件。如如下0文件：:112007-06-12:17:31:41:19556000(2086):212007-06-12:17:31:41:01955600(2086):312007-06-12:17:31:41:00019556(2086)紅色部分表示：目標(biāo)端裝載相應(yīng)1文件的編號(hào)藍(lán)色部分表示：目標(biāo)端裝載此1文件的系統(tǒng)時(shí)間紫色部分表示：此1文件的具體操作的類型及相應(yīng)的個(gè)數(shù)綠色部分表示：裝載此1花費(fèi)的時(shí)間2）查看目標(biāo)端目錄下的文件，可以知道目標(biāo)端裝載的具體信息。如如下的文件：0/4038331::2007-07-2413:21:31(),0x002839c9,2007-07-2413:21:02(),0x0028394,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:03(),0x0028396,2007-07-2413:21:03(),0x00283914,2007-07-2413:21:032007-07-24:13:21:33:3561220100140/4038341::2007-07-2413:21:33(),0x002839d7a2,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:04(),0x0028396b,2007-07-2413:21:042007-07-24:13:21:33:48371592014紅色部分表示：目標(biāo)端日常接收到的1文件編號(hào)及在目標(biāo)端保存創(chuàng)建此1文件目標(biāo)端的系統(tǒng)時(shí)間藍(lán)色部分表示：目標(biāo)端日常接收到此1在源端內(nèi)部的號(hào)和在源端交易的源端系統(tǒng)時(shí)間紫色部分表示：目標(biāo)端日常接收到此1在目標(biāo)端裝載完的目標(biāo)端系統(tǒng)時(shí)間及相應(yīng)此1文件的大小和相應(yīng)交易的類型和相關(guān)交易的個(gè)數(shù)紫色時(shí)間減去藍(lán)色時(shí)間：表示源端在數(shù)據(jù)庫里真正交易時(shí)間和目標(biāo)端真正裝載到數(shù)據(jù)庫時(shí)間的相差時(shí)間（當(dāng)然要保持源端主機(jī)和目標(biāo)端主機(jī)系統(tǒng)時(shí)間一致）源端日常傳送的進(jìn)度查看源端目錄下的文件，查看源端日常傳送的進(jìn)度。如如下文件：2007-07-24:11:30:28:2.3763821(14295646742266)...2007-07-24:11:30:28:2.3763821252007-07-24:11:30:32:2.3763831(14295646742266)...2007-07-24:11:30:32:2.376383111紅色部分表示：源端日常傳送此1文件的系統(tǒng)時(shí)間藍(lán)色部分表示：源端傳送此1文件的具體編號(hào)紫色部分表示：源端傳送此1文件的時(shí)間目標(biāo)端日常接收的進(jìn)度查看目標(biāo)端目錄下的文件，查看目標(biāo)端日常接受的進(jìn)度。如如下文件：2007-07-24:11:37:21:,0,136...332007-07-24:11:37:21:,0,198...58紅色部分表示：目標(biāo)端日常接收此1文件的系統(tǒng)時(shí)間藍(lán)色部分表示：目標(biāo)端日常接收此1文件的類型。表示實(shí)時(shí)，表示紫色部分表示：目標(biāo)端日常接收此1文件的所在隊(duì)列。多隊(duì)列分0，1，2等綠色部分表示：目標(biāo)端日常接收此1文件的大小棕色部分表示：目標(biāo)端日常接收此1文件花費(fèi)的時(shí)間源端日常是否1積壓查看源端目錄下是否有大量1文件積壓，正常的情況下目錄下不會(huì)有很多1文件存在。如果存在不過數(shù)量不多，并且1文件的最小編號(hào)始終在變化，說明可能是傳送的慢；查看源端目錄下的文件，看是否有變化（而且不是重試的信息）查看源端目錄下的2文件，看是否第一列和第二列數(shù)值是否相差很大。第二列比第一列大很多說明源端日常1有積壓，另外第一列數(shù)值不再變化，說明源端日常1文件有積壓（當(dāng)然這兩種情況在同步某張或某些表的時(shí)候，會(huì)有這種情況發(fā)生，因?yàn)樵谶@同步某張或某些表的沒有完成時(shí)，新生成的1文件是不會(huì)傳送到目標(biāo)端的，源端會(huì)造成1文件的階段時(shí)間積壓）造成源端積壓的可能原因：源端目標(biāo)端之間的網(wǎng)絡(luò)故障目標(biāo)端進(jìn)程停止源端發(fā)送停止或出錯(cuò)目標(biāo)端日常是否1積壓1）查看目標(biāo)端目錄下的0目錄下是否有大量1文件積壓查看目標(biāo)端目錄下的0文件是否有日志累加寫入（不是重復(fù)信息）查看目標(biāo)端0目錄下的文件，第一列和第二列的數(shù)值是否相差很大，如果第二列比第一列數(shù)值大很多說明目標(biāo)端日常1文件有累積，同時(shí)如果第一列數(shù)值長(zhǎng)時(shí)間不變動(dòng)，說明目標(biāo)端日常1文件有累積。源端傳送的具體信息1）查看源端目錄下的文件，可以知道源端分析出交易的具體信息。如如下的日志：2007-06-12:17:26:37:5242864804440002007-06-12:17:26:38:1290520195560002007-06-12:17:28:19:5242864804440002007-06-12:17:28:20:129052019556000紅色部分表示：源端傳送此1文件的系統(tǒng)時(shí)間藍(lán)色部分表示：源端傳送此1文件的大小紫色部分表示：源端傳送此1文件的具體交易類型及相應(yīng)交易類型的個(gè)數(shù)目標(biāo)端裝載的具體信息查看目標(biāo)端目錄下的文件，可以知道目標(biāo)端裝載的具體信息。如如下的文件：0/4038331::2007-07-2413:21:31(),0x002839c9,2007-07-2413:21:02(),0x0028394,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:03(),0x0028396,2007-07-2413:21:03(),0x00283914,2007-07-2413:21:032007-07-24:13:21:33:3561220100140/4038341::2007-07-2413:21:33(),0x002839d7a2,2007-07-2413:21:03(),0x00283939,2007-07-2413:21:04(),0x0028396b,2007-07-2413:21:042007-07-24:13:21:33:48371592014紅色部分表示：目標(biāo)端日常接收到的1文件編號(hào)及在目標(biāo)端保存創(chuàng)建此1文件目標(biāo)端的系統(tǒng)時(shí)間藍(lán)色部分表示：目標(biāo)端日常接收到此1在源端內(nèi)部的號(hào)和在源端交易的源端系統(tǒng)時(shí)間紫色部分表示：目標(biāo)端日常接收到此1在目標(biāo)端裝載完的目標(biāo)端系統(tǒng)時(shí)間及相應(yīng)此1文件的大小和相應(yīng)交易的類型和相關(guān)交易的個(gè)數(shù)紫色時(shí)間減去藍(lán)色時(shí)間：表示源端在數(shù)據(jù)庫里真正交易時(shí)間和目標(biāo)端真正裝載到數(shù)據(jù)庫時(shí)間的相差時(shí)間（當(dāng)然要保持源端主機(jī)和目標(biāo)端主機(jī)系統(tǒng)時(shí)間一致）維護(hù)需要過濾的操作過濾操作的意義提供過濾操作功能是為了有效的防止生產(chǎn)系統(tǒng)上由于誤操