NCV61NMC技术使用手册整理后.docx

资源描述

NCV61NMC技术使用手册整理后.docx

《NCV61NMC技术使用手册整理后.docx》由会员分享，可在线阅读，更多相关《NCV61NMC技术使用手册整理后.docx（49页珍藏版）》请在冰点文库上搜索。

NCV61NMC技术使用手册整理后.docx

NCV61NMC技术使用手册整理后

NCv6.1NMC技术使用手册

UAP中心编著

第一章开始使用NMC

本章内容概要：

●概述

●部署和使用

1.1概述

要保障规模不断扩大的应用并保障稳定高效，服务器集群和负载均衡是必由之路，开始集群站点在个数位时可以人工进行管理，但当站点变成几十、几百时，靠人工来管理和维护无疑成为灾难，于是自动化、智能型、可视化的主动监控系统-NMC应运而生。

NMC是先进的性能监控、性能分析、系统管理平台。

NMC将极大地提高性能监控、性能分析、系统管理的效率，从而获得更好的服务质量和客户满意度。

对于大规模的复杂的IT系统，NMC将变得不可或缺。

在监控方面，它融入了先进的性能监控思想，比如分布式监控服务、多层穿透、信息采集和分析分离、事件驱动的快照机制等，监控的对象覆盖了NC性能关注的所有方面，包括数据库，中间件，客户端等等。

在性能分析方面，它具有强大的日志抽取、分析能力，提供了丰富的图表展现功能，可以对NC、JVM、线程、快照、CPU、内存，客户端，在线用户等日志进行抽取和分析，同时预置了大量的分析模型。

在系统管理方面，它采用了主动发现主动管理的思想，可以在中间件出现故障时主动管理，从而提高系统可靠性；集成的补丁管理工具可以帮助管理员对补丁进程快速部署和回滚，极大提高集群环境下补丁管理的效率。

1.1.1名词解释

监控域:

一个服务中心和一组受管于这个服务中心的监控实例的集合。

这些监控实例可以分布在多个物理服务器上。

监控实例由一组监控服务组成。

在一个监控域中，所有的监控实例管理的监控服务都将其监控资源通过服务管理器向服务中心注册，监控服务资源由服务中心统一对外发布。

服务中心（ServiceCenter）:

一个监控域的核心管理进程，用于注册监控域内所有的服务资源，同时提供服务启动控制、访问日志、服务请求路由、安全检查、动态参数刷新功能。

一个监控域内有且只有一个服务中心，所有的监控实例必须设置服务中心服务器。

监控客户端只需要连接服务中心服务器即可访问整个监控域的服务资源。

监控域和服务中心关系如图1-1：

图1.1监控域-服务中心的关系

消息：

监控服务产生的警告。

消息可以驱动生成快照。

比如，线程监控发现某个任务执行时间超过3分钟，于是产生一条消息。

这条消息驱动生成了中间件和数据库的快照。

快照：

对系统运行时生成的详细的运行态信息。

这些信息用于帮助具体地定位问题。

比如中间件的线程详细堆栈，SQL堆栈。

数据库的执行计划等。

快照消息绑定。

1.1.2技术架构

图1.2NMC技术架构

NMC客户端是集成的监控UI，是基于插件的UI框架；

客户端通过多种协议与服务中心通信，包括HTTP（s），Email，JMS；

服务中心接到客户端请求后，服务中心管理器通过服务定位器对服务进行定位，将请求的服务资源将请求路由到相应的监控进程；

监控进程将请求转交给服务管理器，通过服务管理器将请求转交给具体的服务实例处理；

一个监控域中可以有一个或者多个监控实例。

1.1.3监控服务之间的关系

图1.3监控服务的关系

NMC一个很重要的优势就是服务之间可以相互穿透，比如进程到线程再到数据库信息的穿透、客户端到线程信息的穿透。

在多层架构的系统中，这种层与层之间的监控信息的穿透可以帮助你更加系统地，精确地分析问题。

监控服务都会生成日志和产生消息，这些日志和消息可以进一步成为日志分析的数据来源。

1.1.4核心特性

集成的性能监控、问题分析、系统管理的平台；

提供HTTP、Email、OFFLine等多种连接或者使用模式；

支持多个监控域。

每个监控域支持多个服务器、多种类型的监控服务；

从客户端到中间件，数据库的无缝的全面的监控体系；

支持中间件层和数据库层信息的相互穿透；

支持客户端日志和服务器端日志的相互穿透；

提供强大的中间件进程级的监控和管理功能；

提供细粒度的线程监控功能；

提供了强大灵活的日志抽取和分析功能；

提供了一种事件驱动的进行主动监控主动管理的功能；

集成了补丁管理的功能；

实现了监控服务的安全和监控目标安全的隔离。

1.1.5带来的好处

可获得对系统的高度洞察力。

使用NMC的实时监控可以获得实时掌握系统的运行状态，无论是系统概要的层面还是细粒度的线程层面，都一览无余。

对日志和消息的分析可以评估系统整体运行状态、预测风险。

快速发现和定位问题。

无论通过实时监控还是离线分析，都可以快速发现定位性能问题。

相对于传统的监控工具，NMC可以更加快速地帮助你定位性能问题。

提高系统可用性。

进程监控服务提供的主动管理，故障自动回复的功能可提高系统的可用性。

即，当进程监控服务检测到中间件不响应时自动将其重启，或者将备份的服务器加入到集群，从而实现系统的高可用性。

简洁高效的工作流。

比如日志录制提供了响应终端用户的服务工作流，补丁挂你和进程定时重启提供了补丁维护的工作流。

管理变得简单。

系统管理员可以彻底地从补丁管理和中间件管理中解脱出来，把精力放到更加重要的事情上去。

1.1.6基于NMC的插件开发

NMC无论是服务器端还是客户端都采用支持插件的架构，无论是已有的监控服务还是新开发的监控服务很容易打包成NMC的服务，进而集成到NMC。

图1.4开发NMC插件

1.2部署和使用

1.2.1单机的部署

单机只需要启动单个NMCserver即可，此时，这个NMCserver同时充当服务中心和监控服务器。

启动方法：

Cd%NCHOME%/NMC/server

./startmonitor.bat

（%NCHOME%特指NC实际安装路径的变量。

主要以windows平台作为示例。

）

1.2.2集群的部署

集群环境即需要监控多个服务器目标，需要在每个物理服务器上启动一个NMCserver。

具体步骤如下：

在每个节点上指定服务中心地址。

可以通过configure.bat命令，也可以直接修改./conf/service.xml中servicecenter部分来实现。

图1.5配置服务中心

先启动服务中心服务器

启动节点服务器

特别注意：

如果重启服务中心服务器，则节点服务器必须重启！

1.2.3WAS启用安全管理

WAS启用安全管理时，NMC如果要对WAS进行管理（比如启动，停止），需要一些特殊配置。

以下通过一个实际的例子来说明:

WASHome：

/u01/IBM/WEBSphere/AppServer

WAS安全管理用户名/密码：

root/rootroot

具体步骤如下：

createtrustkeystore

一定要用WAS带的keytool。

导出证书：

WAS_home/java/bin下执行以下命令：

keytool-export-v-keystore/u01/IBM/WEBSphere/AppServer/profiles/Dmgr01/config/cells/ncprd01Cell01/key.p12-storepassWEBAS-storetypePKCS12-aliasdefault-file/nchome/NMC/server/ibm.cer

导入证书：

在WAS_home/java/bin下执行以下命令：

keytool-import-v-noprompt-keystore/nchome/NMC/server/WASkeystore-storepassrootroot-file/yc57gold/NMC/server/ibm.cer-aliasufida.cer–trustcacerts

修改monitor.properties配置文件，添加如下参数：

adminusername=root

adminpassword=rootroot

.ssl.trustStore=/nchome/NMC/server/WASkeystore

.ssl.trustStorePassword=rootroot

修改startmonitor0.sh（bat），用WAS的JDK启动；

exportJAVA_HOME=/u01/IBM/WEBSphere/AppServer/java

启动NMC一定要使用startmonitor0.sh（bat）命令启动服务；

1.2.4服务器端主要的配置文件

./conf/service.xml

服务实例和服务中心的配置文件，是核心配置文件，主要可进行如下配置：

服务中心地址

每个服务的属性

是否启动；

是否域内单例；

是否生成消息；

对于消息的处理方式（快照或者警告）。

./conf/monitor.properties

各种监控服务的参数的配置文件，是一个核心的配置文件,可以通过如下方式修改：

直接编辑文件；

通过configure.bat来修改；

NMC客户端的参数配置，这种方式直接生效不需要重启实例。

./conf/monitor-log.properties

日志配置文件。

可以通过直接修改文件，修改后必须重启实例才能生效。

./conf/mail.properties

邮件服务器配置文件。

邮件服务器主要用于消息中心和通过邮件方式访问监控服务（见通过邮件访问监控服务部分），可以通过直接修改配置文件或者configure.bat。

图1.6配置邮件服务器心

1.2.5服务器端部署的几个注意事项

对中间件和数据库的监控依赖于%NCHOME%/ierp/bin/prop.xml文件，为了部署方便，建议将监控服务和NC中间件代码部署在一个服务器上。

如果要单独部署，需要在monitor.properites中指定prop.xml。

如果在WAS管理控制台中更改了单个Server或者集群中某个成员Server的端口，一定要在NC的prop.xml文件中修改该对应的端口，要保证prop.xml和真实环境信息的一致性。

Linux/UNIX环境特别注意要将NMC/server/bin和NMC/server/目录下的文件赋予可执行权限。

把任务放到后台执行（nohup）。

JRE_HOME要设置为JDK1.5或者以上的版本。

修改NMC端口需要修改NMC/server/conf/server.conf，NMC/server/conf/services.xml，%NCHOME%/resource/monitor.properties三个文件。

如果是数据库是RAC环境，需要在prop.xml文件中将数据源拆分成两个针对单个实例的数据源,这样可以保证做快照和数据库检查的性能，可以单独提供一个prop.xml用于NMC。

比如：

jdbc:

oracle:

thin:

@（DESCRIPTION=（ADDRESS=（PROTOCOL=TCP）

（HOST=10.12.167.11）（PORT=1521））（ADDRESS=（PROTOCOL=TCP）

（HOST=10.12.167.12）（PORT=1521））（LOAD_BALANCE=yes）

（CONNECT_DATA=（SERVER=DEDICATED）（SERVICE_NAME=ncdata）））

1.2.6NMC客户端的获取

客户端可以用以下两种方式获得：

直接使用%NCHOME%/NMC/client；

或者从服务器上下载一个最新的客户端。

下载地址为http:

//{servicecenterhost}:

{port}/NMC/client.exe比如：

http:

//192.168.8.112:

9999/NMC/client.exe

1.2.7启动客户端

设置JAVA_HOME

进入客户端目录，执行monitorconsole.bat。

图1.7NMC客户端登录对话框

1.2.8客户端使用的几种模式

HTTP（默认）：

使用HTTP传输协议访问监控服务。

EMAIL:

使用邮件传输协议来访问监控服务。

主要用于无法通过HTTP协议访问远程监控服务器的情况。

这种传输方式提供了更灵活的接入方式。

OFFLINE:

脱机模式。

主要用于基于消息和日志的分析。

1.2.9利用邮件传输协议进行远程监控

利用邮件传输协议进行远程监控是一种非常灵活的连接方式。

只要保证服务器端能收邮件，客户端能发邮件就可以进行实时监控。

主要的配置如下：

在服务中心服务器配置邮件服务器

图1.8配置邮件服务器

配置conf/services.xml将maillistner服务设置为启动:

maillistner

nc.monitor.service.mailreceiver.MailListener

true

配置monitor.properties修改如下属性：

#远程调用消息处理器

#收邮件from

POP_REMOTECALL_EMAILADDR=srv@

#发送邮件时指定的邮件from

SMTP_SRC_MAIL_ADDR=monitor@

#邮件访问控制列表，用；格开

MAIL_ACCESS_RULE=liujb@；

#邮件不满足规则将邮件从邮件服务器上删除

DelMail_OutOfRule=false

注意：

监听的邮件帐号最好是专用帐号！

客户端登陆时，选择登陆的传输方式为Email。

图1.9选择email作为通信方式

1.2.10客户端主要的配置文件

./conf/resource/domain.xml：

登录过的监控域的历史记录。

./conf/resource/resource-client.xml

客户端插件的配置文件。

./conf/SQL/fixSQL.cfg

数据库监控脚本配置文件。

./conf/SQL/logSQL.cfg

日志分析预置脚本配置文件。

第二章实时监控

本章内容概要：

●概述

●进程监控

●线程监控

●数据库监控

●客户端监控

●内存监控

●缓存监控

2.1概述

实时监控是常规的监控方法。

问题正在发生，或者你正在客户现场，实时监控可以让你第一时间扑捉到当前系统正在发生什么，问题的定位和解决方案随之而来。

NMC支持实时监控的服务主要的包括：

OverView、进程监控、线程监控、数据库监控、CPU、内存，客户端监控等。

OverView提供了一个系统概要；进程监控提供了进程级的信息；线程监控提供线程级的信息；CPU和内存监控提供系统级的信息；客户端监控提供客户端的性能和系统在线人数的信息。

每个服务都提供了监控整个系统的某个部分的任务，把这些服务的信息整合起来就看到整个系统的全景。

NMC实时监控有如下优势：

可多层信息穿透。

这种层与层之间的直接关联可更加全面深入的定位和分析问题；

从客户端到中间件在到数据库的端到端的无缝监控；

完整的信息。

NMC提供的全方位，各个层次，满足各种监控需要的信息。

2.2OverView

图2.1OverView

2.2.1功能概述

提供一个部署结构样式的全局的系统运行状况视图，包括系统运行状态、每个中间件的JVMheap信息、线程信息、数据库的活动会话、集群吞吐量、在线用户数、最新的系统消息等。

当系统出现异常，会有警告提示。

2.2.2参数

无

2.2.3详细功能介绍

自动刷新设置：

设置视图的自动刷新时间间隔。

单位为秒，默认为5秒刷新一次；

点击数据库组件进入数据库监控节点，点击中间件组件进入线程监控节点。

2.3进程监控

图2.2进程监控-JVM视图

图2.3进程监控-WEB线程视图程

图2.4进程监控-数据库activesession视图

2.3.1功能概述

进程监控服务主要实现如下功能:

对中间件状态检查，包括端口响应的时间和内存使用的情况，比如，当发现中间件不能正常工作，则可以选择对其自动重启或者动态加入一个备份的中间件；

将JVMHEAP的使用情况、中间件响应时间、WEBthread及serivcethread信息采样，将采样信息写入日志，通过日志分析可以对系统进行性能评估和性能诊断；

提供每个进程吞吐量的视图；

更新数据库连接池的信息和数据库活动会话的信息；

对中间件进行管理，比如重启，生成JAVACORE，HEAPDUMP，设置定时重启等。

2.3.2参数

NodeAgentHost

中间件管理服务器地址，WEBSPHEREDM服务器的地址默认为127.0.0.1，如果为WEBLOGIC中间件，则为WEBLOGICmanager的地址。

NodeAgentPort

中间件管理服务器的端口，WEBSPHEREDM的端口默认为8879，如果没有启集群，则为所在服务器的NodeAgent的端口，默认为8880，如果中间件为WEBLOGIC，默认端口为7001。

Servertype

中间件服务器的类型，默认为WAS，可以选择WAS，WEBLOGIC，NC。

Adminusername

中间件管理员。

如果WASadmin启用了安全管理，则需要设置。

如果服务器为WEBLOGIC，此参数必须设置。

Adminpassword

中间件管理员密码。

如果WASadmin启用了安全管理，则需要设置，WEBLOGIC中间件此参数必须设置。

Propfile

默认为../../ierp/bin/prop.xml，修改此参数必须重启监控服务。

notResponseThreshold

中间件端口响应时间的阀值，单位为毫秒。

即当响应时间超过这个阀值，则认为端口探测失败，默认为5000毫秒。

此参数需要和fail.trytimes配合使用。

fail.trytimes

端口探测的次数，即如果连续fail.trytimes次此端口探测失败，则认为中间件已经不能正常工作，需要重启。

默认为8。

此参数需要和notResponseThreshold配合使用。

servlet

默认为service/monitorservlet，不需要修改。

MemoryThreshold

内存报警阀值。

此值算法如下heapfree/heaptotal。

默认为0.005。

此参数需要和MemoryTrytimes配合使用。

MemoryTrytimes

连续javaheap探测的次数，即当连续这些次数探测失败，则发送快照消息或者重启中间件。

默认为10次。

此参数需要和MemoryThreshold配合使用。

logDuration

进行中间件信息采样同时将信息写入日志的时间间隔，默认为10秒。

日志会写入./logs/mw/。

restartWhenCheckResponsefailure

检查端口失败是否重启.。

默认为true

restartWhenCheckMemoryfailure

检测JVM内存失败是否重启，如果为否，则只是发送报警消息，默认为false。

dumpHeapWhenRestart

检查中间件失败是否要做HEAPDUMP，默认为false。

dumpThreadWhenRestart

检查中间件失败是否要做THREADDUMP，默认为false。

N1_PLUGIN_FILE

N+1Standby需要指定HIS插件的配置文件，默认为空。

N1_STANDBYSERVER_KEY

N+1Standby需要指定HIS插件的备份中间件，默认为空。

EnableLOCKGC

中间件重启时是否做LOCKGC，默认true。

如果为true，则中间件重启时将这个中间件的PKLOCK全部清除。

2.3.3详细功能介绍

中间件-管理-启动

对选择的中间件进行启动，支持右键。

中间件-管理-重启

对选择的中间件进行重启，支持右键。

中间件-管理-停止。

对选择的中间件进行启动，支持右键。

中间件-管理-定时

设置定时重启，支持右键。

如下图，则设置ncMem01每隔7天凌晨零点自动重启。

图2.5设置自动重启

中间件-管理-DUMPHEAP

对所选择的中间件生成HEAPDUMP，支持右键。

中间件-管理-DUMPTHREAD

对所选择的中间件生成THREADDUMP，支持右键。

中间件-GC

对所选择的中间件做FULLGC，右键功能。

中间件-监控-线程监控

对选择的中间件穿透到线程监控节点，支持右键。

中间件-监控-全局监控

进入全局监控节点，即对所有的中间件在一个视图中进行监控。

中间件-定时刷新设置

设置进程视图自动刷新的时间间隔，默认为5秒。

图2.6设置自动刷新

中间件-NCSNAPSHOT

对选择的中间件做快照，这个快照需要到消息中心同步才能看到。

中间件-刷新

刷新当前视图。

中间件-详细信息说明

双击任何表行，则自动弹出其详细信息。

图2.7进程监控详细信息

字段解释：

字段

说明

服务名

中间件名称

状态

中间件当前状态，目前有三种状态:

Running、down、starting

主机

中间件服务器地址

端口

中间件端口

重启定时

定时重启的配置，可以通过右键或者管理->定时设置

WEB线程池

WEBcontainer线程池的大小

WEB线程

远程调用线程数

服务线程

后台服务的线程数

JVMmax（m）

JVMheap的设置（max）

JVMtotal（m）

JVMheap当前的total值

JVMfree（m）

JVMheap当前的free值

JVMused（m）

JVMheapused

上次端口检查耗时

最近一次端口探测的响应时间

可管理

如果启动WEBSPHEREDM或者WEBLOGICmanager，则为true，否则为false.可管理意味着可以远程对中间件进行启动，关闭，生成HEAPDUMP、THREADDUMP。

当监控服务发现中间件不响应时，可以根据监控服务配置的管理策略对其自动重启.如果不能管理，则意味着只能做监控

数据库-刷新

对数据库监控视图进行刷新。

数据库-查询

进入所选择的数据库的查询节点。

数据库监控详细信息说明

选中上面的任何一行，如newSQL所在的行，然后双击，则弹出下面的对话框:

图2.8数据库详细信息

字段

说明

数据源

数据源名称

数据库类型

连接字符串

数据库的jdbc连接串

连接池大小

显示为default-max

连接池已用

在对应的中间件连接池中有多少连接为使用状态

dbActiveSessions

数据库的活动会话数