DSGRealSync日常维护手册Word文档格式.docx
《DSGRealSync日常维护手册Word文档格式.docx》由会员分享，可在线阅读，更多相关《DSGRealSync日常维护手册Word文档格式.docx（16页珍藏版）》请在冰点文库上搜索。
00/dsg/bin/loader-s-qno21
oracle12524125232209:
11:
32/dsg/bin/loader-s-qno21
oracle125121009:
00/dsg/bin/loader-s-qno31
oracle12516125122709:
13:
55/dsg/bin/loader-s-qno31
oracle124931009:
46?
00:
00/dsg/bin/arch_vagentd_dsg
/dsg/log/log.r0/dsg/log/archivelog/log.r0_archlog43200
上图为4个并发进程的启动情况，现场loader–s进程启动个数可能根据现场启动的并发数不同而不同。
1.1.2在源端初始化复制进程
$cd/dsg/ds/scripts执行
./clean_vagentd初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作。
./check检查复制进程启动状态
oracle194451009:
45pts/500:
00/dsg/bin/dbpsd4002
oracle194611009:
00/dsg/bin/vagentd4000
oracle19469194614409:
22:
oracle194551009:
00/dsg/bin/sender-tseq1
oracle1945619455009:
oracle194341009:
45?
/dsg/log/log.sender/dsg/log/archivelog/log.sender_archlog43200
oracle194331009:
/dsg/log/log.vagentd/dsg/log/archivelog/log.vagentd_archlog43200
如上图所有进程均正常启动表明复制进程正常启动
3）源端bin下执行
$cd/dsg/ds/bin
$./vman
VMAN>
@vm
即可正常发起全同步操作
1.1.3全同步过程中源端日志监控
$cd/dsg/ds/log
1）通过tail–flog.vagentd命令查看全同步抓取日志进程vagentd的日志信息在同步导出的过程中显示导出百分之多少和导出多少M，可以监控到源端同步导出的进度。
/*开始抽取表，显示百分比（0.81%），已经抽取的大小（10MB），读取速度（R9:
1.11），压缩速度（C0:
0.00），写速度（W0:
0.13），平均速度（P:
1.11），总共耗时（E:
322）*/
rz~~1.63%20MB（R9:
3.33,C1:
16.58,W1:
0.05,P:
1.66,T:
0,E:
651）
wr~~2.44%30MB（R9:
3.33,C5:
11.11,W1:
0.06,P:
2.00,T:
1010）
rw~~3.25%40MB（R9:
3.33,C2:
11.11,W2:
0.04,P:
2.22,T:
1411）
wr~~4.07%50MB（R9:
3.33,C3:
7.14,W4:
0.03,P:
2.38,T:
1699）
r~~~4.88%60MB（R9:
12.50,W2:
0.08,P:
2.50,T:
2022）
zr~~5.69%70MB（R9:
0.00,W2:
0.00,P:
2.59,T:
2297）
grp#sizeseq#hwsbsznabflgdupfwdbwdblk（ofs）
12621441554025122621451120262145（0）
线程、日志大小、seq号、标志位、块大小、下一块、标志位（8为当前日志）
Handlingseq#15545-block100245（ofs0）-112849
/*正在处理15545号日志，在100245块，偏移量0*/
rw~~6.50%80MB（R9:
3.33,C0:
40.00,W1:
2.67,T:
2586）
SCN0x0000.00fd4561in2004-8-19:
12:
36:
30（U:
1,C:
1,D:
400）
Processedto:
seq#15545,blk:
110484,ofs:
448
SCN0x0000.00fd45b7in2004-8-19:
40（U:
0,D:
718）
$r~~7.32%90MB（R9:
1.88,C0:
0.00,W0:
2.55,T:
2882）
2）查看导出结束的标志在log.vagentd日志中出现如下的打印信息：
==========SummaryofDBPSExpressExport============
Tables1950（2938）
Rows141752480
Extents11094
ZipLevel1
ToRead30185.69MB
Read30539.13MB
XF131418.00MB
XF1Zipped11625.83MB（63.00%）
Elapsed575.91（s）
======================================================
AddingTransactions...
ExportingFinished...
显示导出完成
3）通过tail–flog.sender命令查看发送数据进程sender的信息
sender进程会把同步期间产生新交易的xf1进行发送，看这个文件是否有传送新的xf1
1.1.4全同步过程中目标端的日志监控
1）$cd/dsg/dt/log通过tail–flog.s0命令查看目标端log目录下的log.s0、log.s1......log.s5文件，看是否同步的文件在正常装载以及每个队列装载到的具体xf1文件个数，以log.s开始的文件为首次同步产生的日志文件。
2）$cd/dsg/dt/rmp通过catcfg.loaderno命令查看目标端rmp目录下的sync0、sync1、syncX目录中源端同步导出传到这些目录下的xf1文件是否在减少，cfg.loaderno文件有两列第一列的数字表示装载了多少个xf1文件，第二列的数字表示从源端接收到了多少个xf1文件，所以可以通过判断第一列的数字是否增长，来确定目标端同步装载的进度。
3）$cd/dsg/dt/rmp通过catcfg.sync查看目标端rmp目录下的cfg.sync文件，如果这个文件不断的增大说明源端导出传送过来的数大于目标端同步装载的xf1个数；
如果这个文件在不断的减少说明源端传送过来的数小于目标端同步装载的xf1个数，或源端导出完毕不再传送目标端在不断的装载xf1文件；
当cfg.sync文件里面的数表示源端导出传送到目标端，目标端还有多少个xf1未装的个数，所以当cfg.sync文件里面的数为零时，表示目标端同步装载完成。
4）$cd/dsg/dt/log通过tail–flog.r0查看目标端log目录下的log.r0文件，以log.r开始的文件为增量装载的日志文件
Loader:
1.xf12007-06-12:
17:
31:
41:
6-I0-D0-U0-DDL（2086ms）
2.xf12007-06-12:
0-I0-D6-U0-DDL（2086ms）
3.xf12007-06-12:
0-I6-D0-U0-DDL（2086ms）
4.xf12007-06-12:
56-I0-D0-U0-DDL（2086ms）
5.xf12007-06-12:
6.xf12007-06-12:
的日志，说明目标端同步装载完成。
5）$cd/dsg/dt/scripts通过./mon查看目标端的装载情况。
1.2单独同步1张或几张表
由于只是想单独同步1张或几张表，并且不影响其他现在正在复制表的正常复制，而且要单独同步的表已经在下面mapping.ini文件中real_where=中的o.name项中，所以只需要修改full_where＝中o.name中的内容，改为要单独同步1张或几张表的表名即可。
操作步骤如下：
$cd/dsg/ds/config
当前mapping.ini文件内容为：
TRADETRADE
real_where=
u.name=’TRADE’
full_where=
如果需要单独同步TRADE用户下的TEST表，需要修改mapping.ini文件
u.name=’TRADE’
u.name=’TRADE’ando.name=’TEST’
按需求修改完mapping.ini文件后进入源端bin目录
注：
只有执行此命令后，dsg才会再此查询mapping.ini里配置信息，只是修改完mapping.ini或起停进程并不重新读取mapping.ini里配置信息
查看源端log.vagnetd文件如果有Finished出现表示源端新加的表同步完成，
查看目标端log.r0进行实时装载后，表示新同步的表目标端同步完成，进入实时同步阶段
2如何设置日志分析间隔
connect:
50000
userroot/dbps
setds1-itvl3-statestart
该日志间隔可以在1－5秒间任意设置，设置成几秒中Dsg每隔几秒钟就会去读取一次redolog在证券行业推荐使用3秒
-itvl3读取日志间隔
3日常运行过程中的日志监控
3.1源端日常分析的进度
1）查看源端rmp目录下的cfg.finishseq文件，可以查到源端已经分析完的数据库日志文件。
第一列表示主机节点，第二列表示已经分析完的数据库日志文件号。
2）查看源端log目录下的log.vagentd文件，可以查看源端分析到什么时间的交易。
如下的日志：
grp#sizeseq#bsznabflgdupTHNext-SCN2007/06/1217:
26:
20
12048002355122047990110x54c92ea235.187048.0
2007-06-12:
20:
processingrba235.187048.0（ckp:
235.204799.x）...
21:
processedtorba235.197287.460（ckp:
235.204799.x）
SCN0x0000.054c92d4in2007-6-12:
15（U:
1:
2488842,C:
0:
0）
红色时间表示源端数据库交易操作时间
蓝色时间表示源端分析此交易的时间
两者相减可以得出源端分析滞后的时间
3）查看源端vcfsa目录下的src_total.txt文件，可以知道源端分析出交易的具体信息。
37LEN:
524286480444-I0-D0-U0-DDL
38LEN:
129052019556-I0-D0-U0-DDL
28:
19LEN:
524286480444-I0-D0-U0-DDL
20LEN:
红色部分表示：
源端传送此xf1文件的系统时间
蓝色部分表示：
源端传送此xf1文件的大小
紫色部分表示：
源端传送此xf1文件的具体交易类型及相应交易类型的个数
3.2目标端日常装载的进度
1）查看目标端log目录下的log.r0文件。
如如下log.r0文件：
Loader:
19556-I0-D0-U0-DDL（2086ms）
Loader:
0-I19556-D0-U0-DDL（2086ms）
3.xf12007-06-12:
0-I0-D0-U19556-DDL（2086ms）
红色部分表示：
目标端装载相应xf1文件的编号
蓝色部分表示：
目标端装载此xf1文件的系统时间
紫色部分表示：
此xf1文件的具体操作的类型及相应的个数
绿色部分表示：
装载此xf1花费的时间
2）查看目标端rmp目录下的tgt_total.txt文件，可以知道目标端装载的具体信息。
如如下的tgt_total.txt文件：
/dsg/dt/rmp/real0/403833.xf1:
CreateTime:
2007-07-2413:
31
（commit）,SCN0x0028.bb39c9fa,Time2007-07-2413:
02
（commit）,SCN0x0028.bb39cae4,Time2007-07-2413:
03
（commit）,SCN0x0028.bb39cb39,Time2007-07-2413:
（commit）,SCN0x0028.bb39cbb6,Time2007-07-2413:
（commit）,SCN0x0028.bb39cd14,Time2007-07-2413:
2007-07-24:
33LEN:
356122-I0-D10-U0-DDLTXN-14
/dsg/dt/rmp/real0/403834.xf1:
33
（commit）,SCN0x0028.bb39d7a2,Time2007-07-2413:
（commit）,SCN0x0028.bb39de39,Time2007-07-2413:
04
（commit）,SCN0x0028.bb39de6b,Time2007-07-2413:
483715-I9-D2-U0-DDLTXN-14
目标端日常接收到的xf1文件编号及在目标端保存创建此xf1文件目标端的系统时间
目标端日常接收到此xf1在源端oracle内部的scn号和在源端交易的源端系统时间
目标端日常接收到此xf1在目标端装载完的目标端系统时间及相应此xf1文件的大小和相应交易的类型和相关交易的个数
紫色时间减去蓝色时间：
表示源端在数据库里真正交易时间和目标端真正装载到数据库时间的相差时间（当然要保持源端主机和目标端主机系统时间一致）
3.3源端日常传送的进度
1）查看源端log目录下的log.sender文件，查看源端日常传送的进度。
如如下log.sender文件：
30:
/dsg/ds/rmp/2.376382.xf1（PID-1429564PPID-6742266）...
/dsg/ds/rmp/2.376382.xf1sentin25ms
32:
/dsg/ds/rmp/2.376383.xf1（PID-1429564PPID-6742266）...
/dsg/ds/rmp/2.376383.xf1sentin11ms
源端日常传送此xf1文件的系统时间
源端传送此xf1文件的具体编号
源端传送此xf1文件的时间
3.4目标端日常接收的进度
1）查看目标端log目录下的log.vagentd文件，查看目标端日常接受的进度。
如如下log.vagentd文件：
37:
real,q#0,XF136...elapsed33ms
real,q#0,XF198...elapsed58ms
目标端日常接收此xf1文件的系统时间
目标端日常接收此xf1文件的类型。
real表示实时，full表示
目标端日常接收此xf1文件的所在队列。
多队列分0，1，2等
绿色部分表示：
目标端日常接收此xf1文件的大小
棕色部分表示：
目标端日常接收此xf1文件花费的时间
3.5源端日常是否xf1积压
1）查看源端rmp目录下是否有大量xf1文件积压，正常的情况下rmp目录下不会有很多xf1文件存在。
如果存在不过数量不多，并且xf1文件的最小编号始终在变化，说明可能是传送的慢；
2）查看源端log目录下的log.sender文件，看是否有变化（而且不是重试的信息）
3）查看源端rmp目录下的2.cfg.senderno文件，看是否第一列和第二列数值是否相差很大。
第二列比第一列大很多说明源端日常xf1有积压，另外第一列数值不再变化，说明源端日常xf1文件有积压（当然这两种情况在同步某张或某些表的时候，会有这种情况发生，因为在这同步某张或某些表的没有完成时，新生成的xf1文件是不会传送到目标端的，源端会造成xf1文件的阶段时间积压）
造成源端积压的可能原因：
1、源端目标端之间的网络故障
2、目标端进程停止
3、源端发送停止或出错
3.6目标端日常是否xf1积压
1）查看目标端rmp目录下的real0目录下是否有大量xf1文件积压
2）查看目标端log目录下的log.r0文件是否有日志累加写入（不是重复信息）
3）查看目标端rmp/real0目录下的cfg.loaderno文件，第一列和第二列的数值是否相差很大，如果第二列比第一列数值大很多说明目标端日常xf1文件有累积，同时如果第一列数值长时间不变动，说明目标端日常xf1文件有累积。
3.7源端传送的具体信息
1）查看源端vcfsa目录下的src_total.txt文件，可以知道源端分析出交易的具体信息。
如如下的日志：
3.8目标端装载的具体信息
1）查看目标端rmp目录下的tgt_total.txt文件，可以知道目标端装载的具体信息。
如如下的t
升级会员 