监控故障信息收集指导手册101.docx
《监控故障信息收集指导手册101.docx》由会员分享，可在线阅读，更多相关《监控故障信息收集指导手册101.docx（56页珍藏版）》请在冰点文库上搜索。
监控故障信息收集指导手册101
监控故障信息收集指导手册
HangzhouH3CTechnologiesCo.,Ltd.
杭州华三通信技术技术有限公司
Allrightsreserved
版权所有XX
目录
1信息收集注意事项16
2监控产品信息收集要点16
2.1VM定位信息收集要点16
2.1.1收集asvm、ccvm配置文件和日志16
2.1.2收集与其他组件交互的信令报文18
2.1.3获取VM数据库备份文件19
2.1.4获取操作系统运行状态信息20
2.1.5收集VM控制块信息22
2.1.6收集AS、CC服务器内存使用信息23
2.1.7收集VM程序运行信息（gmon.out文件）24
2.2VC定位信息收集要点25
2.2.1收集VC、VM的版本信息25
2.2.2收集VC的日志和配置文件26
2.2.3收集VC主机系统信息26
2.2.4VC上抓取媒体流和信令报文31
2.2.5VC故障现象抓屏31
2.3DM定位信息收集要点32
2.3.1利用脚本收集DM信息32
2.3.2收集配置和日志信息33
2.3.3收集DM版本号35
2.3.4对DMWeb的显示结果进行抓屏35
2.3.5获取DM程序运行状态35
2.3.6获取DM配置文件36
2.3.7使用dmesg命令获取系统启动时的信息36
2.3.8收集与其他组件交互的信令报文37
2.3.9收集iscsi信息37
2.3.10获取IPSAN挂载信息38
2.3.11获取NAS或ECR挂载MOUNT状态39
2.3.12获取操作系统运行状态信息40
2.4IPSAN定位信息收集要点40
2.4.1收集X-Ray信息40
2.4.2收集IPSAN管理台各RAID状态的抓图41
2.5MS定位信息收集要点42
2.5.1利用脚本收集MS信息42
2.5.2获取MS配置文件43
2.5.3收集MS日志信息43
2.5.4收集iscsi信息45
2.5.5收集实况、录像转发表信息45
2.5.6收集与其他组件交互的信令报文和媒体流报文46
2.5.7获取操作系统运行状态信息47
2.6ISC、ECR、EC、DC定位信息收集要点48
2.6.1收集设备的版本信息48
2.6.2获取快照信息48
2.6.3获取索引信息49
2.6.4收集与其他组件交互的信令报文51
2.6.5DC1001-FF接受报文丢包统计52
2.6.6ISC、ECR、EC2016、EC3016debug信息。
52
2.7ISC3000系统WEB客户端信息收集要点54
2.7.1IE版本信息54
2.7.2控件版本信息54
2.7.3PC所在操作系统信息55
2.7.4控件日志信息55
2.7.5PC上抓取媒体流和信令报文55
2.8网络设备定位信息收集要点56
2.8.1交换机配置56
2.8.2网络拓扑图56
3监控业务信息收集要点56
3.1实况业务定位信息收集要点56
3.1.1现场信息56
3.1.2信令报文57
3.1.3媒体流信息57
3.1.4日志信息57
3.2回放业务定位信息收集要点57
3.2.1现场信息57
3.2.2信令报文57
3.2.3媒体流信息58
3.2.4日志信息58
3.2.5索引信息58
3.3告警/告警联动业务定位信息收集要点59
3.3.1告警/告警联动报文流程图59
3.3.2现场信息59
3.3.3信令报文59
3.3.4媒体流报文60
3.3.5日志信息60
3.3.6问题定位步骤60
6.云台控制业务定位信息收集要点61
7.现场信息61
14.信令报文61
17.媒体流信息61
18.日志信息61
22.问题定位步骤61
29.设备注册、保活、登录业务定位信息收集要点62
30.现场信息62
38.信令报文63
41.媒体流信息63
42.日志信息63
48.问题定位步骤63
1信息收集注意事项
1.尽可能提供故障设备类型、故障时间、当时操作过程及结果，结果请用抓屏保存成图片。
2.请准确提供各产品的版本号。
3.除端口隔离的编码器之间，需确保系统中各组件的网络互相可达。
4.如能复现故障现象，请在尽量单纯的环境中进行信息收集，例如某摄像头无法正常实况，此时请将其他摄像头的实况、回放等业务关闭，只开启故障摄像头实况，进行抓包等信息收集。
5.所有的抓包操作完成后请停止抓包程序，以免占用空间满后造成设备故障。
6.与图象质量有关的问题请提供编码格式、码率、帧率、Ｉ帧间隔、码流类型，可通过管理员版编码器通道煤体流配置界面抓图保存。
7.请提供故障设备在VM管理员版上配置的ID。
2监控产品信息收集要点
2.1VM定位信息收集要点
2.1.1利用脚本收集VM信息
[root@ms8000home]#chmod777vmsystemreport.sh
[root@ms8000home]#./vmsystemreport.sh
Systemreportcollectcompletely!
Reportfile:
vmsystemreport.tgz
2.1.2收集asvm、ccvm配置文件和日志
配置文件保存在/root目录下的asvmcfg.inicccfg.ini：
[root@vmserver~]#cd/root
[root@vm2log]#ls-l*.ini
-rw-rw-rw-1rootroot79326Sep2516:
57asvmcfg.ini
-rw-rw-rw-1rootroot275028Sep1714:
14cccfg.ini
日志保存在/var/log目录下，进入此目录的命令如下：
[root@vmserver~]#cd/var/log
查看呼叫控制服务器（cc）日志的命令如下（其中cc0XX.log文件数量最多10个）：
[root@vm2log]#ls-lcc*
-rw-rw-rw-1rootroot79326Sep2516:
57cc000.log
-rw-rw-rw-1rootroot275028Sep1714:
14ccvmsd.log
查看视频监控应用服务器（as）日志的命令如下（其中asvm0XX.log文件最多10个）：
[root@localhostlog]#ls-lasvm*
-rw-rw-rw-1rootroot11431524Sep2516:
56asvm000.log
-rw-rw-rw-1rootroot18874474Sep2111:
01asvm001.log
-rw-rw-rw-1rootroot18874496Sep1909:
07asvm002.log
-rw-rw-rw-1rootroot21268Sep815:
09asvmsd.log
通过SSH工具获取以上AS、CC配置文件和日志文件至本地
点击下图红框内快捷键，系统弹出VM服务器文件传输窗口。
选择文件所在目录，找到需要保存的文件，直接拖动文件到本地PC的保存目录中即可。
2.1.3收集与其他组件交互的信令报文
通过抓取报文并判读，可以迅速准确地完成问题的初步定位，排查设备注册、保活、实况、轮切等基本业务的问题，在VM服务器上，可以通过tcpdump命令完成抓包。
抓取除SIP协议报文外所有其他报文的命令如下：
tcpdump–s5000–wvm1.cap
单域域内Sip报文命令：
tcpdump–s5000–iloport5060–wsip.cap
上下级域间SIP报文命令：
tcpdump–s5000port5060–wsip.cap
VMP报文命令：
tcpdump–s5000port6060–wvmp.cap
tcpdump–s5000host192.168.0.1andport6060–wvmp.cap
命令说明
-s：
指定每个数据包的大小。
默认为68字节。
不指定时无法通过vmp的ethereal插件解包。
-i：
指定监听网口。
抓取Sip报文时，需要监听lo即127.0.0.1的回环网口。
port：
指定监听端口。
Sip消息为5060端口，Vmp消息为6060端口。
host：
指定监听主机IP。
当确定需要只抓取某个设备信息时，可以通过host字段来过滤。
这样的话，抓取的报文文件会精简很多。
-w：
指定保存文件名称。
注意：
抓报文结束后按组合键停止抓包，否则长时间抓包后，报文文件可能太大，导致磁盘存储空间不够，对系统造成不良影响。
对于VM5000由于VM和DM是同一IP,
所以抓取VM和DM之间的VMP报文时，命令应为：
tcpdump-s5000port6060-ilo-wDM_vmp.cap
2.1.4获取VM数据库备份文件
通过SSH客户端登录VM服务器，进入VM服务器软件安装目录，以VM8000-E1216版本为例）：
并增加[root@localhostroot]#cd/home/VM5000V100R001B01D018”
[root@localhostVM5000V100R001B01D018]#tarxzvfmppdbbr.tgz
mppdbbr/
mppdbbr/introductiontomppdbbr.tgz.doc
mppdbbr/mppdbbr.sh
mppdbbr/.change.sed
[root@localhostVM5000V100R001B01D018]#cdmppdbbr
[root@localhostmppdbbr]#ls
introductiontomppdbbr.tgz.docmppdbbr.sh
[root@localhostmppdbbr]#./mppdbbr.sh
Whatdoyouwanttodo?
1.backup
2.recovery
3.vacuum
4.convert（EUC_CNtoUTF8）
c.cancel
Pleasehaveachoice:
1
PleaseenterDBaddress:
192.168.18.60注释：
IP需要和现场的实际环境匹配
Password:
passwd
backupsuccess!
备份文件保存在/var/dbbr目录，文件名称为dbbackup.sql
[root@localhosthome]#cd/var/dbbr
dbbr/dbbro/
[root@localhosthome]#cd/var/dbbr
[root@localhostdbbr]#lsdbbackup.sql
dbbackup.sql
[root@localhostdbbr]#
每日2点系统会自动备份数据库，如发生故障时间不在现场，定位故障时，可将/var/dbbr目录下故障发生时间前和后最近生成的数据库备份文件导出。
2.1.5获取操作系统运行状态信息
使用VM脚本定期收集信息
通过SSH客户端登录VM服务器，将下面的脚本文件通过SSH工具复制到/var/log目录下。
执行命令crontab-e，会打开vi编辑软件，追加下面一行
10*/6***/var/log/getsystem.sh
然后保存退出，以上操作可以保证在每天的6:
10、12：
10、18：
10、24：
10时获取系统信息，生成文件mpp_system.txt，需要时把/var/log/mpp_system.txt文件取出
注意：
完成信息收集后执行如下操作关闭定期收集。
执行命令crontab-e，打开vi编辑软件，删除下面一行。
10*/6***/var/log/getsystem.sh
收集操作系统运行状态信息。
通过SSH客户端登录VM服务器，手工输入下文显示命令收集操作系统运行状态信息。
●获取操作系统版本
cat/proc/version
cat/etc/redhat-release
cat/etc/issue
[root@localhost~]#cat/proc/version
Linuxversion2.6.9-42.ELsmp（buildcentos@build-i386）（gccversion3.4.620060404（RedHat3.4.6-3））#1SMPSatAug1209:
39:
11CDT2006
[root@localhost~]#cat/etc/redhat-release
CentOSrelease4.4（Final）
[root@localhost~]#cat/etc/issue
CentOSrelease4.4（Final）
Kernel\ronan\m
●获取操作系统的硬盘使用情况
[root@localhost/]#df-h
FilesystemSizeUsedAvailUse%Mountedon
/dev/mapper/VolGroup00-LogVol00
66G7.8G55G13%/
/dev/sda199M3M82M14%/boot
none1014M01014M0%/dev/shm
●获取操作系统的内存使用情况
[root@localhostlog]#free
totalusedfreesharedbufferscached
Mem:
2074864203300441860060524635752
-/+buffers/cache:
133********36
Swap:
2048276122048264
●查看网络信息
[root@ms8000~]#ifconfig
[root@ms8000~]#route
[root@ms8000~]#ethtooleth0
●获取各socket（应用端口号）使用情况
[root@localhostlog]#netstat–l
ActiveInternetconnections（onlyservers）
ProtoRecv-QSend-QLocalAddressForeignAddressState
tcp00192.168.18.60:
12000*:
*LISTEN
tcp00192.168.18.61:
4000*:
*LISTEN
tcp00192.168.18.60:
4000*:
*LISTEN
tcp00*:
netbios-ssn*:
*LISTEN
tcp00*:
sunrpc*:
*LISTEN
●获取进程CPU占用率
[root@localhostlog]#psaux
将显示结果复制到文本文件中。
2.1.6收集VM控制块信息
TELNET登陆AS服务器（端口号为4000），密码为superuser，收集AS服务控制块信息。
C:
\>telnet192.168.18.604000
displayasvmstatcmccb
displayasvmstatrmccb
TELNET登陆CC服务器（端口号为4000），密码为superuser，收集CC服务控制块信息。
C:
\>telnet192.168.18.614000
displayccb-busyvrm
displayccb-busycm
将上述命令的输出结果复制到文本文件中。
2.1.7收集AS、CC服务器内存使用信息
以CC服务为例,AS服务收集过程与CC一致。
登陆CC：
telnetCC地址4000
sys
SystemView:
returntoUserViewwithCtrl+Z.
[ccserver]_h
Nowyouenterahiddencommandviewfordeveloper'stesting,somecommandsmay
affectoperationbywronguse,pleasecarefullyuseitwithourengineer's
direction.
[ccserver-hidecmd]dismemory
SliceMemoryUsage:
BlockSize32Free563Used9869Total10432
BlockSize64Free214Used4645Total4859
BlockSize128Free16Used1275Total1291
BlockSize256Free3Used574Total577
BlockSize512Free86Used49Total135
BlockSize1024Free21Used49Total70
BlockSize2048Free96Used170Total266
BlockSize4096Free86Used58Total144
-----------------------------Summary--------------------------------
Used（Byte）1584224Free1085Used16689Total17774
TotalSliceAllocatedSize:
2911104bytesUsedRatio:
54
TotalSliceMemory（IncludeControlDataandFreeSlice）:
2911104bytes
RawSliceMemoryUsage:
TotalUsedSize:
317585432bytesNum:
142
TotalRawSliceSize（IncludeControlDataandFreeSlice）:
317837168bytesUsedRatio:
99
SystemTotalMemory（bytes）:
536856096
将上述命令的输出结果复制到文本文件中。
2.1.8收集VM程序运行信息（gmon.out文件）
注意：
收集该信息会导致MPP进程重启，请选择使用
●生成AS进程的程序运行信息
使用telnetAS服务器IP4000端口的方式登录至as服务器。
例如：
telnet192.168.112.1954000
需要输入密码：
superuser
登录后，输入sys命令进入系统视图。
输入_h命令进入隐藏视图。
输入命令dismemm200200。
该命令会导致AS服务在1分钟之内重启，重启之后在服务器上的/root目录下生成一个名字为gmon.out的文件。
请确认一下该文件的生成时间，应该和当前时间相差不大，该文件改名为as_gmon.out。
●生成CC进程的程序运行信息
使用telnetCC服务器IP4000端口的方式登录至CC服务器；
例如：
telnet192.168.112.1964000
需要输入密码：
superuser。
登录后，输入sys命令进入系统视图。
输入_h命令进入隐藏视图。
输入命令dismemm200200
该命令会导致CC服务在1分钟之内重启，重启之后在服务器上的/root目录下生成一个名字为gmon.out的文件。
请确认一下该文件的生成时间，应该和当前时间相差不大，将该文件改名为cc_gmon.out；
2.2VC定位信息收集要点
2.2.1收集VC、VM的版本信息
点击VC管理员版或用户版菜单项‘帮助>关于’，在弹出显示窗口后按组合键可显示内部版本号，可截屏后保存为JPG文件。
2.2.2收集VC的日志和配置文件
故障发生后，进入VC安装目录，将log目录压缩后保存。
安装目录下VC.exe.config文件为用户版配置文件，请保存。
如果无法压缩拷贝，请退出VC后再进行如上操作。
2.2.3收集VC主机系统信息
●VC的机器配置
点击‘开始>运行’，在弹出窗口中输入dxdiag，开启DirectX诊断工具，在DirectX诊断工具中点击<保存所有信息>按钮，然后赋予要保存的文件名并保存。
●使用IPSAN备份工具下载故障问题时录像
使用录像备份工具下载一段故障发生时段的录像。
1.运行MPTools工具。
2.点击按钮，进入IPSAN备份界面。
3.进入无法下载的录像所对应编码器的WEB页面，将三行IPSAN参数填入IPSAN备份工具配置界面。
EC1001页面：
EC2004-HF页面：
4.点击<挂载IPSAN>按钮，选择VC无法下载录像的时间段主索引时间。
5.点击<备份>按钮，输入文件名，确定后开始下载录像，直至下载结束，文件下载完后发回。
6.如果MPTools无法正常使用，请收集MPTools程序的LOG目录下的日志。
●VC主机的CPU、内存、进程信息
右键点任务拦选择任务管理器，在进程、性能页面收集CPU、内存、进程信息，其中进程信息可以点击红框处按照CPU或内存使用率排列。
右键点击Windows任务管理器，选择性能选项，抓屏保存为图片。
选择进程选项，抓屏保存为图片。
2.2.4VC上抓取媒体流和信令报文
VC主机安装Wndows版本Ehreal软件，一旦VC上的操作结果异常，可在VC上抓包，并保存成文件。
2.2.5VC故障现象抓屏
故障现象发生时，通过按PC键盘键抓屏保存故障现象和各种提示信息，有时提示信息显示在右下方，请双击弹出提示信息后再抓图，示例见下图。
2.3DM定位信息收集要点
2.3.1利用脚本收集DM信息
使用脚本收集DM主机信息后，然后在DMWebUI上导出日志和配置，基本上能满足问题定位的需求。
采用SSH工具上传以上脚本到DM的home目录。
修改dmsystemreport.sh的可执行权限，命令为：
chmod777dmsystemreport.sh
升级会员 