监控故障信息收集指导手册101.docx

1、监控故障信息收集指导手册101监控故障信息收集指导手册Hangzhou H3C Technologies Co., Ltd. 杭州华三通信技术技术有限公司All rights reserved版权所有 XX目录1 信息收集注意事项 162 监控产品信息收集要点 162.1 VM定位信息收集要点 162.1.1 收集asvm、ccvm配置文件和日志 162.1.2 收集与其他组件交互的信令报文 182.1.3 获取VM数据库备份文件 192.1.4 获取操作系统运行状态信息 202.1.5 收集VM控制块信息 222.1.6 收集AS、CC服务器内存使用信息 232.1.7 收集VM程序运行信息

2、（gmon.out文件） 242.2 VC定位信息收集要点 252.2.1 收集VC、VM的版本信息 252.2.2 收集VC的日志和配置文件 262.2.3 收集VC主机系统信息 262.2.4 VC上抓取媒体流和信令报文 312.2.5 VC故障现象抓屏 312.3 DM定位信息收集要点 322.3.1 利用脚本收集DM信息 322.3.2 收集配置和日志信息 332.3.3 收集DM版本号 352.3.4 对DMWeb的显示结果进行抓屏 352.3.5 获取DM程序运行状态 352.3.6 获取DM配置文件 362.3.7 使用dmesg命令获取系统启动时的信息 362.3.8 收集与其

3、他组件交互的信令报文 372.3.9 收集iscsi信息 372.3.10 获取IPSAN挂载信息 382.3.11 获取NAS或ECR挂载MOUNT状态 392.3.12 获取操作系统运行状态信息 402.4 IPSAN定位信息收集要点 402.4.1 收集X-Ray信息 402.4.2 收集IPSAN管理台各RAID状态的抓图 412.5 MS定位信息收集要点 422.5.1 利用脚本收集MS信息 422.5.2 获取MS配置文件 432.5.3 收集MS日志信息 432.5.4 收集iscsi信息 452.5.5 收集实况、录像转发表信息 452.5.6 收集与其他组件交互的信令报文和媒

4、体流报文 462.5.7 获取操作系统运行状态信息 472.6 ISC、ECR、EC、DC定位信息收集要点 482.6.1 收集设备的版本信息 482.6.2 获取快照信息 482.6.3 获取索引信息 492.6.4 收集与其他组件交互的信令报文 512.6.5 DC1001-FF接受报文丢包统计 522.6.6 ISC、ECR、EC2016、EC3016debug信息。 522.7 ISC3000系统WEB客户端信息收集要点 542.7.1 IE版本信息 542.7.2 控件版本信息 542.7.3 PC所在操作系统信息 552.7.4 控件日志信息 552.7.5 PC上抓取媒体流和信令

5、报文 552.8 网络设备定位信息收集要点 562.8.1 交换机配置 562.8.2 网络拓扑图 563 监控业务信息收集要点 563.1 实况业务定位信息收集要点 563.1.1 现场信息 563.1.2 信令报文 573.1.3 媒体流信息 573.1.4 日志信息 573.2 回放业务定位信息收集要点 573.2.1 现场信息 573.2.2 信令报文 573.2.3 媒体流信息 583.2.4 日志信息 583.2.5 索引信息 583.3 告警/告警联动业务定位信息收集要点 593.3.1 告警/告警联动报文流程图 593.3.2 现场信息 593.3.3 信令报文 593.3.4

6、 媒体流报文 603.3.5 日志信息 603.3.6 问题定位步骤 606. 云台控制业务定位信息收集要点 617. 现场信息 6114. 信令报文 6117. 媒体流信息 6118. 日志信息 6122. 问题定位步骤 6129. 设备注册、保活、登录业务定位信息收集要点 6230. 现场信息 6238. 信令报文 6341. 媒体流信息 6342. 日志信息 6348. 问题定位步骤 631 信息收集注意事项1. 尽可能提供故障设备类型、故障时间、当时操作过程及结果，结果请用抓屏保存成图片。2. 请准确提供各产品的版本号。3. 除端口隔离的编码器之间，需确保系统中各组件的网络互相可达。4

7、. 如能复现故障现象，请在尽量单纯的环境中进行信息收集，例如某摄像头无法正常实况，此时请将其他摄像头的实况、回放等业务关闭，只开启故障摄像头实况，进行抓包等信息收集。5. 所有的抓包操作完成后请停止抓包程序，以免占用空间满后造成设备故障。 6. 与图象质量有关的问题请提供编码格式、码率、帧率、帧间隔、码流类型，可通过管理员版编码器通道煤体流配置界面抓图保存。7. 请提供故障设备在VM管理员版上配置的ID。2 监控产品信息收集要点2.1 VM定位信息收集要点2.1.1 利用脚本收集VM信息rootms8000 home# chmod 777 vmsystemreport.sh rootms800

8、0 home# ./vmsystemreport.sh System report collect completely!Report file: vmsystemreport.tgz2.1.2 收集asvm、ccvm配置文件和日志配置文件保存在/root目录下的asvmcfg.ini cccfg.ini：rootvmserver # cd /rootrootvm2 log# ls -l *.ini-rw-rw-rw- 1 root root 79326 Sep 25 16:57 asvmcfg.ini-rw-rw-rw- 1 root root 275028 Sep 17 14:14 ccc

9、fg.ini日志保存在/var/log目录下，进入此目录的命令如下：rootvmserver # cd /var/log查看呼叫控制服务器（cc）日志的命令如下（其中cc0XX.log文件数量最多10个）：rootvm2 log# ls -l cc*-rw-rw-rw- 1 root root 79326 Sep 25 16:57 cc000.log-rw-rw-rw- 1 root root 275028 Sep 17 14:14 ccvmsd.log查看视频监控应用服务器(as)日志的命令如下（其中asvm0XX.log文件最多10个）：rootlocalhost log# ls -l a

10、svm*-rw-rw-rw- 1 root root 11431524 Sep 25 16:56 asvm000.log-rw-rw-rw- 1 root root 18874474 Sep 21 11:01 asvm001.log-rw-rw-rw- 1 root root 18874496 Sep 19 09:07 asvm002.log-rw-rw-rw- 1 root root 21268 Sep 8 15:09 asvmsd.log通过SSH工具获取以上AS、CC配置文件和日志文件至本地点击下图红框内快捷键，系统弹出VM服务器文件传输窗口。选择文件所在目录，找到需要保存的文件，直接拖

11、动文件到本地PC的保存目录中即可。2.1.3 收集与其他组件交互的信令报文通过抓取报文并判读，可以迅速准确地完成问题的初步定位，排查设备注册、保活、实况、轮切等基本业务的问题，在VM服务器上，可以通过tcpdump命令完成抓包。抓取除SIP协议报文外所有其他报文的命令如下：tcpdump s 5000 w vm1.cap单域域内Sip报文命令：tcpdump s 5000 i lo port 5060 w sip.cap上下级域间SIP报文命令：tcpdump s 5000 port 5060 w sip.capVMP报文命令：tcpdump s 5000 port 6060 w vmp.ca

12、ptcpdump s 5000 host 192.168.0.1 and port 6060 w vmp.cap命令说明-s：指定每个数据包的大小。默认为68字节。不指定时无法通过vmp的ethereal插件解包。-i：指定监听网口。抓取Sip报文时，需要监听lo即127.0.0.1的回环网口。port：指定监听端口。Sip消息为5060端口，Vmp消息为6060端口。host：指定监听主机IP。当确定需要只抓取某个设备信息时，可以通过host字段来过滤。这样的话，抓取的报文文件会精简很多。-w：指定保存文件名称。 注意：抓报文结束后按组合键停止抓包，否则长时间抓包后，报文文件可能太大，导致磁

13、盘存储空间不够，对系统造成不良影响。对于VM5000 由于VM和DM是同一IP,所以抓取VM和DM之间的VMP报文时，命令应为：tcpdump -s 5000 port 6060 -i lo -w DM_vmp.cap2.1.4 获取VM数据库备份文件通过SSH客户端登录VM服务器，进入VM服务器软件安装目录，以VM8000-E1216版本为例）：并增加rootlocalhost root#cd /home/ VM5000V100R001B01D018”rootlocalhost VM5000V100R001B01D018# tar xzvf mppdbbr.tgz mppdbbr/mppdb

14、br/introduction to mppdbbr.tgz.docmppdbbr/mppdbbr.shmppdbbr/.change.sedrootlocalhost VM5000V100R001B01D018# cd mppdbbrrootlocalhost mppdbbr# lsintroduction to mppdbbr.tgz.doc mppdbbr.shrootlocalhost mppdbbr# ./mppdbbr.sh What do you want to do? 1.backup2.recovery3.vacuum4.convert(EUC_CN to UTF8)c.ca

15、ncelPlease have a choice :1Please enter DB address :192.168.18.60 注释：IP需要和现场的实际环境匹配Password: passwdbackup success!备份文件保存在/var/dbbr目录，文件名称为dbbackup.sqlrootlocalhost home# cd /var/dbbrdbbr/ dbbro/ rootlocalhost home# cd /var/dbbrrootlocalhost dbbr# ls dbbackup.sql dbbackup.sqlrootlocalhost dbbr#每日2点系统

16、会自动备份数据库，如发生故障时间不在现场，定位故障时，可将/var/dbbr目录下故障发生时间前和后最近生成的数据库备份文件导出。2.1.5 获取操作系统运行状态信息使用VM脚本定期收集信息通过SSH客户端登录VM服务器，将下面的脚本文件通过SSH工具复制到/var/log目录下。执行命令 crontab -e，会打开vi编辑软件，追加下面一行10 */6 * * * /var/log/getsystem.sh然后保存退出，以上操作可以保证在每天的6:10、12：10、18：10、24：10时获取系统信息，生成文件mpp_system.txt，需要时把/var/log/mpp_system.t

17、xt文件取出注意：完成信息收集后执行如下操作关闭定期收集。执行命令 crontab -e，打开vi编辑软件，删除下面一行。10 */6 * * * /var/log/getsystem.sh收集操作系统运行状态信息。通过SSH客户端登录VM服务器，手工输入下文显示命令收集操作系统运行状态信息。 获取操作系统版本cat /proc/version cat /etc/redhat-releasecat /etc/issuerootlocalhost # cat /proc/version Linux version 2.6.9-42.ELsmp (buildcentosbuild-i386) (g

18、cc version 3.4.6 20060404 (Red Hat 3.4.6-3) #1 SMP Sat Aug 12 09:39:11 CDT 2006rootlocalhost # cat /etc/redhat-release CentOS release 4.4 (Final)rootlocalhost # cat /etc/issueCentOS release 4.4 (Final)Kernel r on an m 获取操作系统的硬盘使用情况rootlocalhost /# df -hFilesystem Size Used Avail Use% Mounted on/dev/

19、mapper/VolGroup00-LogVol00 66G 7.8G 55G 13% /dev/sda1 99M 3M 82M 14% /bootnone 1014M 0 1014M 0% /dev/shm 获取操作系统的内存使用情况rootlocalhost log# free total used free shared buffers cachedMem: 2074864 2033004 41860 0 60524 635752-/+ buffers/cache: 133* *36Swap: 2048276 12 2048264 查看网络信息rootms8000 # ifconfigr

20、ootms8000 # routerootms8000 # ethtool eth0 获取各socket（应用端口号）使用情况rootlocalhost log# netstat lActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 192.168.18.60:12000 *:* LISTEN tcp 0 0 192.168.18.61:4000 *:* LISTEN tcp 0 0 192.168.18.60:4000 *:* LIS

21、TEN tcp 0 0 *:netbios-ssn *:* LISTEN tcp 0 0 *:sunrpc *:* LISTEN 获取进程CPU占用率rootlocalhost log# ps aux将显示结果复制到文本文件中。2.1.6 收集VM控制块信息 TELNET登陆AS服务器（端口号为4000），密码为superuser，收集AS服务控制块信息。C:telnet 192.168.18.60 4000display asvm stat cm ccbdisplay asvm stat rm ccbTELNET登陆CC服务器（端口号为4000），密码为superuser，收集CC服务控制块

22、信息。C:telnet 192.168.18.61 4000 display ccb-busy vrm display ccb-busy cm将上述命令的输出结果复制到文本文件中。2.1.7 收集AS、CC服务器内存使用信息 以CC服务为例,AS服务收集过程与CC一致。登陆CC ：telnet CC地址 4000 sysSystem View: return to User View with Ctrl+Z.ccserver_hNow you enter a hidden command view for developers testing, some commands mayaffect

23、operation by wrong use, please carefully use it with our engineersdirection.ccserver-hidecmddis memorySlice Memory Usage:Block Size 32 Free 563 Used 9869 Total 10432Block Size 64 Free 214 Used 4645 Total 4859Block Size 128 Free 16 Used 1275 Total 1291Block Size 256 Free 3 Used 574 Total 577Block Siz

24、e 512 Free 86 Used 49 Total 135Block Size 1024 Free 21 Used 49 Total 70Block Size 2048 Free 96 Used 170 Total 266Block Size 4096 Free 86 Used 58 Total 144-Summary-Used(Byte) 1584224 Free 1085 Used 16689 Total 17774Total Slice Allocated Size: 2911104 bytes Used Ratio: 54Total Slice Memory(Include Con

25、trol Data and Free Slice): 2911104 bytesRaw Slice Memory Usage: Total Used Size: 317585432 bytes Num: 142 Total Raw Slice Size (Include Control Data and Free Slice): 317837168 bytes Used Ratio: 99System Total Memory(bytes): 536856096将上述命令的输出结果复制到文本文件中。2.1.8 收集VM程序运行信息（gmon.out文件）注意：收集该信息会导致MPP进程重启，请

26、选择使用 生成AS进程的程序运行信息使用telnet AS服务器IP 4000端口的方式登录至as服务器。例如：telnet 192.168.112.195 4000需要输入密码：superuser登录后，输入 sys 命令进入系统视图。输入 _h命令进入隐藏视图。输入命令 dis mem m 200 200 。该命令会导致 AS服务在1分钟之内重启，重启之后在服务器上的/root目录下生成一个名字为gmon.out的文件。请确认一下该文件的生成时间，应该和当前时间相差不大，该文件改名为as_gmon.out。 生成CC进程的程序运行信息使用telnet CC服务器IP 4000端口的方式登录

27、至CC服务器；例如：telnet 192.168.112.196 4000需要输入密码：superuser。登录后，输入 sys 命令进入系统视图。输入 _h命令进入隐藏视图。输入命令 dis mem m 200 200 该命令会导致 CC服务在1分钟之内重启，重启之后在服务器上的/root目录下生成一个名字为gmon.out的文件。请确认一下该文件的生成时间，应该和当前时间相差不大，将该文件改名为cc_gmon.out；2.2 VC定位信息收集要点2.2.1 收集VC、VM的版本信息点击VC管理员版或用户版菜单项帮助关于，在弹出显示窗口后按组合键可显示内部版本号，可截屏后保存为JPG文件。2

28、.2.2 收集VC的日志和配置文件故障发生后，进入VC安装目录，将log目录压缩后保存。安装目录下VC.exe.config文件为用户版配置文件，请保存。如果无法压缩拷贝，请退出VC后再进行如上操作。2.2.3 收集VC主机系统信息 VC的机器配置点击开始运行，在弹出窗口中输入dxdiag，开启DirectX诊断工具，在DirectX诊断工具中点击按钮，然后赋予要保存的文件名并保存。 使用IPSAN备份工具下载故障问题时录像使用录像备份工具下载一段故障发生时段的录像。1. 运行MPTools工具。2. 点击按钮，进入IPSAN备份界面。3.进入无法下载的录像所对应编码器的WEB页面，将三行IP

29、 SAN参数填入IP SAN备份工具配置界面。EC1001页面：EC2004-HF页面：4.点击按钮，选择VC无法下载录像的时间段主索引时间。5. 点击按钮，输入文件名，确定后开始下载录像，直至下载结束，文件下载完后发回。6. 如果MPTools无法正常使用，请收集MPTools程序的LOG目录下的日志。 VC主机的CPU、内存、进程信息右键点任务拦选择任务管理器，在进程、性能页面收集CPU、内存、进程信息，其中进程信息可以点击红框处按照CPU或内存使用率排列。右键点击Windows任务管理器，选择性能选项，抓屏保存为图片。选择进程选项，抓屏保存为图片。2.2.4 VC上抓取媒体流和信令报文VC主机安装Wndows版本Ehreal软件，一旦VC上的操作结果异常，可在VC上抓包，并保存成文件。2.2.5 VC故障现象抓屏故障现象发生时，通过按PC键盘键抓屏保存故障现象和各种提示信息，有时提示信息显示在右下方，请双击弹出提示信息后再抓图，示例见下图。2.3 DM定位信息收集要点2.3.1 利用脚本收集DM信息使用脚本收集DM主机信息后，然后在DMWebUI上导出日志和配置，基本上能满足问题定位的需求。采用SSH工具上传以上脚本到DM的home目录。修改dmsystemreport.sh的可执行权限，命令为：chmod 777 dmsystemreport.sh