ERP系统日常维护操作手册.docx
《ERP系统日常维护操作手册.docx》由会员分享，可在线阅读，更多相关《ERP系统日常维护操作手册.docx（102页珍藏版）》请在冰点文库上搜索。
ERP系统日常维护操作手册
ERP系统日常维护操作手册
（修订版）
中国移动通信集团公司
1概述5
1.1目的5
1.2MIS系统架构5
1.3MIS系统日常维护所涉及内容6
1.4本手册适用范围6
2自动运行的作业7
2.1应用中自动运行的请求7
2.2UNIX主机定时运行的程序7
3日常的周期性维护工作9
3.1日常的周期性维护工作流程9
3.2系统每日维护检查工作列表10
3.2.1MIS系统管理员负责部分10
3.2.2数据库管理员负责部分11
3.2.3主机系统管理员负责部分11
3.2.4网络管理员负责部分12
3.3系统每周维护检查工作列表13
3.3.1MIS系统管理员负责部分13
3.3.2数据库管理员负责部分13
3.3.3主机系统管理员负责部分14
3.3.4网络管理员负责部分15
3.4系统月度维护检查工作列表15
3.4.1MIS系统管理员负责部分15
3.4.2数据库管理员负责部分16
3.4.3主机系统管理员负责部分17
3.4.4网络管理员负责部分17
3.5系统年度维护检查工作列表18
3.5.1MIS系统管理员负责部分18
3.5.2数据库管理员负责部分18
3.5.3主机系统管理员负责部分18
3.5.4网络管理员负责部分19
4故障处理流程19
5非周期性维护服务（突发需求）20
5.1数据库备份20
5.2数据库恢复21
5.3系统补丁（Patch）的应用22
5.4对于特定数据的稽查请求23
6附录A：
命名规则25
6.1根据环境的用途不同，环境的命名遵从下面规则：
25
6.231省＋集团本部简称对照表25
6.3命名组成26
7附录B：
数据库性能分析SQL脚本27
7.1最耗时的请求（TOP10）27
7.2运行最多的请求（TOP10）28
8附录C：
数据库指标说明29
8.1空闲表空间29
8.2表和索引的扩展数量31
8.3数据库的非法对象32
8.4用户的临时表空间34
8.5检查索引碎片35
8.6数据表空间碎块35
8.7检查库缓冲命中率35
8.8检查数据库数据缓冲命中率36
8.9排序36
8.10查找占用IO最多的SQL（TOP10）36
8.11查找占用CPU最多的SQL（TOP10）37
9附录D：
维护工作记录表38
9.1每日维护工作记录表38
9.2每周维护工作记录表47
9.3月度维护工作记录表60
9.4年度维护工作记录表61
9.5系统备份处理记录表62
9.6系统恢复处理记录表62
9.7稽查活动记录表62
9.8补丁记录表62
10附录E：
备份与恢复的策略64
10.1备份对象分类64
10.2交易量的影响66
10.3备份介质分类66
10.4冷备份的步骤66
10.5历史数据的保存建议：
68
10.6备份日志与报告68
10.7故障与恢复68
11附录F：
日常维护常见问题与解答70
11.1MIS应用系统问题70
11.1.1物料查询性能问题70
11.1.2环境登陆问题71
11.1.3预警问题71
11.1.4过帐堵塞问题71
11.1.5输出文件乱码问题72
11.1.6并发请求中文定制问题72
11.1.7审批接收问题72
11.1.8查询性能问题73
11.1.9workflowmail问题73
11.1.10员工层次结构问题73
11.1.11发票缺省币种问题74
11.1.12请购单乱码问题74
11.1.13图形编辑器的问题75
11.1.14并发管理器问题75
11.1.15预警标题字符乱码75
11.2主机问题76
11.2.1备份失败的问题76
11.2.2主机宕掉的问题76
11.2.3磁带库故障76
11.2.4磁带库Driver的问题77
11.2.5IBM平台性能监控问题77
11.2.6数据库无法连接问题78
11.2.7磁带库driver问题79
11.2.8DDS4磁带机备份的问题79
11.2.9硬盘失败的问题79
11.2.10CPU利用率问题79
11.3数据库问题80
11.3.1归档日志问题80
11.3.2备份不成功的问题80
11.3.3登陆口令问题80
11.3.4分配序列问题83
11.3.5表空间问题83
11.3.6过帐问题84
11.3.7回滚段问题84
11.3.8数据库Export的问题85
11.3.9数据库快照（snapshot）的问题85
11.3.10数据库process数目问题85
11.4网络问题85
11.4.1网络安全的问题85
11.4.2生产环境连接问题86
1概述
1.1目的
本手册是《中国移动MIS系统维护管理规定（暂行）》运行维护管理部分的补充。
1.2MIS系统架构
MIS系统是中国移动集团公司信息化工程的重要组成部分。
它包括MIS-财务系统、MIS-人力资源系统、MIS-综合统计系统。
MIS系统架构如下：
MIS生产系统所包含的设备：
Ø磁盘阵列
ØAPPLICATION服务器
ØDATABASE服务器
ØCLUSTERSERVER
Ø综合统计服务器。
Ø接口服务器。
1.3MIS系统日常维护所涉及内容
中国移动集团公司中央支持组、省公司MIS维护组提供对MIS系统全面的技术支持服务。
主要的服务包括：
Ø网络连接监控服务
监控MIS系统的支撑网络的运行情况。
Ø机房设施管理服务
提供MIS系统的整个机房设施的管理和维护，包括机房供电，操作中心的温度，湿度。
Ø日常维护服务
日常维护服务包括MIS系统日常所需要执行的应用监控、备份/恢复、数据库监控、故障检测，服务申请等。
日常维护是由专职或兼职的系统管理操作员（MIS系统管理员、数据库管理员、主机系统管理员）提供7x12x52（7天/周、12小时/日、52周/年）的服务。
Ø系统管理
提供服务器的支持和维护服务。
系统管理功能包括容量规划，安全管理，硬件和软件变更管理。
Ø灾难恢复/备份
对于MIS系统的灾难恢复计划，目前建议采用定时备份生产系统，备份介质同时存储于本地和异地的方法。
1.4本手册适用范围
本手册主要是描述MIS维护组织为MIS系统提供的日常维护服务部分，以及相应的处理方法和处理流程。
所涉及的内容包括：
Ø自动运行的作业
Ø日常的周期性维护工作（每天、每周、月度、年度）
Ø故障处理流程
Ø非周期性维护服务（突发需求）
参与执行与管理该项工作的人员将包括MIS系统维护主管、MIS系统管理员、数据库管理员、主机系统管理员、网络管理员。
2自动运行的作业
为减小系统管理人员的工作量，避免人为操作可能造成失误，通过OracleApplication和Unix操作系统的定时功能，可以将一些不需要人工干预的程序定义为定期运行。
2.1应用中自动运行的请求
序号
工作内容
频率
时间
持续时间
备注
1
清除过时的工作流运行时数据
1/周
周六晚22：
00
1－5分钟
定时删除过时的工作流数据有助于提高工作流处理的性能，定时方式见（注1）
2
清除并发请求和（或）管理器数据
1/周
周六晚22：
10
10－30分钟
定期清除并发的请求有助于提高并发管理器运行的效率和查询请求的速度。
定时方式见（注1）
3
运行统计数据收集模式
1/周
周日晚22：
10
0.5－1小时
定时方式见（注1），注释见（注2）
4
运行总帐优化程序
1/周
周六晚23：
10
10－30分钟
定期运行总帐优化程序有助于提高整个总帐模块运行的效率，定时方式见（注1）
5
定期预警计划员
1/天
0：
00
10－30分钟
系统管理员检查是否定期运行，如果没有定期运行，需要设置为定期运行。
6
维护安全性清单
1/天
0：
00
10－30分钟
系统管理员检查是否定期运行，如果没有定期运行，则提醒HR超级用户。
（注3）
7
CMCCHR定期更新分配中物流人员标识
1/天
0：
00
10－30分钟
系统管理员检查是否定期运行，如果没有定期运行，则提醒HR超级用户。
（注3）
8
定时更新员工工龄记录
1/月
每月第一天0:
00
10－30分钟
系统管理员检查是否定期运行，如果没有定期运行，则提醒HR超级用户。
（注3）
9
程序-优化程序
1/周
周五晚22：
10
10－30分钟
优化总账模块的数据及程序。
注1：
需要在应用中定期自动运行的请求，可以通过OracleApplication的计划功能进行定义。
注2：
OracleApplication11.5.10使用的是9i的数据库，缺省情况下SQL执行的计划是基于成本的（CBO），因此，在数据库中的数据量发生较大变化后，应及时运行“运行统计数据收集模式”，收集数据的变化信息，使数据库针对不同的数据量，均可以采用正确的执行计划。
注3：
这些请求基本上是由HRMS管理员职责定制的，考虑到大部分系统管理员没有HRMS管理员职责，因此只是由系统管理员定期检查，然后通知并协助超级用户完成设置。
2.2UNIX主机定时运行的程序
序号
工作内容
频率
时间
持续时间
备注
1
备份归档日志和报表输出文件
1/日
周一～周六凌晨1点
0.5－1小时
备份数据库归档日志，和应用报表输出文件，定时方式见（注4）
2
每周数据0级冷备份
1/月
每周日凌晨1点
1小时
只备份数据库，定时方式见（注4）
3
每月数据0级冷备份
1/月
每月财务月结之后的第一个周日凌晨1点
2－3小时
备份应用＋数据库，定时方式见（注4）
4
每年数据0级冷备份
1/年
每年财务年结之后的第一个周日凌晨1点
2－3小时
备份应用＋数据库，定时方式见（注4）
5
系统CPU利用率，内存利用率，IO利用率，页面交换量的监控
1/日
每日早8：
00－凌晨0：
00
16小时
定时方式见（注4），说明见（注5）
注4：
通过UNIX系统的crontab实现在指定时间运行UNIX脚本程序（备份和UNIX系统监控）。
注5：
IBM主机可使用NMON，SUN主机可使用top每隔15分钟对UNIX系统进行一次采样，采样信息包括CPU利用率，内存利用率，IO利用率，页面交换量，采样持续16个小时，当天的系统监控的结果可以通过EMAIL自动发送给系统管理员。
为了对系统运行情况进行详细的分析，可以将每次采样的数据导入数据库，在积累了一段时间的采样数据后，可以分析出每天的业务高峰时段，每个月的高峰日期等，为合理使用系统资源和估算系统容量提供可靠的数据依据，采样数据应保留1年。
⏹CPU利用率：
如果系统CPU利用率持续高于80%超过15分钟，则需要管理员查看主机是否有异常进程消耗了大量CPU时间。
⏹内存利用率：
如果系统内存利用率持续高于80%超过15分钟，则需要管理员查看主机是否有异常进程消耗了大量内存资源。
⏹IO利用率：
指IO子系统的读写速率，不需要对其设置监控的阈值。
⏹页面交换量：
指系统每秒交换入/出页面的速率，不需要对其设置监控的阈值。
3日常的周期性维护工作
本章总结了系统管理操作员（MIS系统管理员，数据库管理员，主机系统管理员、网络管理员）日常维护工作的流程和具体需要完成的工作纪录表。
系统管理操作员应至少按照《中国移动通信MIS维护管理规定（暂行）》中附件五“MIS系统设备日常检查表”做好日常检查，并根据实际情况做好下面的详细检查。
同时所有的系统管理操作员在做日常维护工作时，应按照附录D的格式填写好相应的每日、每周、月度、年度维护工作记录表。
3.1日常的周期性维护工作流程
⏹系统每日维护检查
系统管理操作员按照第3.2节中完成每日检查工作
⏹是否有故障
如果有故障或异常情况，则需要先执行故障处理流程（参见第4章）
⏹是否有突发服务
如果有突发服务请求，则需要先执行非周期性维护服务（突发需求处理）流程（参见第5章）
⏹是否是周一
如果当天是周一，则需要先执行系统每周维护工作（参见第3.3节）
⏹是否是每月第一个工作日
如果当天是当月第一个工作日，则需要先执行系统每月维护工作（参见第3.4节）
⏹是否是财务年结之后第一个工作日
如果当天是财务年结之后第一个工作日，则需要先执行系统每年维护工作（参见第3.5节）
填写维护工作记录表（参见第9章附录D维护工作记录表）
3.2系统每日维护检查工作列表
3.2.1MIS系统管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
检查并发管理器运行状态
1/日
上午
1－5分钟
登录应用系统，进入并发－管理器－管理，检查管理器的实际数目和目标数目是否一致
2
检查运行出错的请求
1/日
上午
5－10分钟
登录应用系统查找运行状态为错误的请求，并查找原因
3
检查正在运行的请求中，是否有时间过长的请求
1/日
上午
1－5分钟
超过1小时应为异常
4
检查FORM服务运行状态
1/日
上午
1－5分钟
（注5）
5
检查WEB服务运行状态
1/日
上午
1－5分钟
（注6）
6
检查REPORT服务运行状态
1/日
上午
1－5分钟
（注7）
7
检查REPORTREVIEWERAGENT服务运行状态
1/日
上午
1－5分钟
（注8）
8
检查TCF服务运行状态
1/日
上午
1－5分钟
查看菜单的树型结构
9
检查DISCOVERER服务运行状态
1/日
上午
1－5分钟
（注9）
总计
每日上午
15－60分钟
注5：
判断Form服务是否正常，首先在应用主机FormServer的进程应该存在，（进程ps-ef|grepapplprd|grepf60srvm），其次，可以通过登录系统的方法进行检测。
注6：
判断Apache服务是否正常，首先在应用主机Apache的进程应该存在，（进程ps-ef|grepapplprd|grepApache|grephttp），其次，可以通过在首页访问帮助的方式进行检测。
注7：
判断Report服务是否正常，首先在数据库主机ReportServer的进程应该存在，（进程ps-ef|grepapplprd|grepREP60），其次，在系统中提交报表的请求，应该可以正常运行。
注8：
判断ReportReviewerAgent是否正常，首先在数据库主机ReportReviewerAgent的进程应该存在，（进程ps-ef|grepapplprd|greptns），其次，可以登录到应用系统查看请求的输出进行检验。
注9：
判断Discover服务是否正常，首先在应用主机Discover的服务进程应该存在，（进程ps-ef|grepapplprd|grepdis），其次，可以通过DiscovererPlus和DiscovererViewer检查Discoverer的报表是否可以正常打开。
3.2.2数据库管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
检查备份日志
1/日
上午
1－5分钟
检查前一天备份的日志
2
查看数据库告警日志
1/日
上午
5－10分钟
查找bdump/alert_.log中是否有告警，查看日志中是否有ORA-XXXXX的告警。
3
检查正在使用的模块是否有20%以上可用空闲表空间
1/日
上午
1－5分钟
在系统使用过程中，对表空间可用率不足20%应尽快进行处理，查找系统表空间的脚本参见8.1节“空闲表空间”
4
检查是否有表或索引已接近其可以使用的最多扩展的数量。
1/日
上午
1－5分钟
对于表或索引的可用扩展数量与最大可用扩展数量差小于5时，应该尽快进行处理，表和索引的检查脚本可参考8.2节“表和索引的扩展数量”
总计
每日上午
10－30分钟
3.2.3主机系统管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
检查文件系统利用率日志
1/日
上午
1－5分钟
使用df–k进行检查是否有文件系统利用率高于85%并且可用空间小于500M
2
查看系统硬件软件告警日志
1/日
上午
1－5分钟
IBM主机使用errpt进行检查是否有硬件错误和告警，
SUN主机查看
/var/adm/messages
3
检查是否有僵死或运行时间过长的进程
1/日
上午
1－10分钟
使用ps–ef进行检查（运行时间超过12小时的绝大部分是有问题的进程）
4
检查系统运行日志（系统CPU利用率，内存利用率，IO利用率，页面交换量的监控）
1/日
上午
5－10分钟
IBM主机查看NMON的输出文件，并使用分析工具制作报表。
Sun主机查看top的输出，并使用分析工具制作报表。
5
检查系统高可用性（HA）的使用状态
1/日
上午
5-10分钟
检查集群软件日志文件的使用
总计
每日上午
13－40分钟
3.2.4网络管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
检查网络连接情况
1/日
上午
1－5分钟
注11
2
检查网络硬件（路由器，交换机，防火墙）的运行状态
1/日
上午
1－5分钟
3
检查网络系统安全日志，搜索是否有攻击行为
1/日
上午
1－5分钟
注12
总计
每天上午
3-15分钟
注11：
各省网络系统管理员需要通过网络监控软件或者系统命令来检查各省公司到地市和到集团公司的网络连接情况。
注12：
网络系统安全日志需要定期检测。
3.3系统每周维护检查工作列表
3.3.1MIS系统管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
检查系统定期请求运行结果
1/周
周一上午
1－5分钟
（注13）
2
汇总本周最耗时的10请求
1/周
周一上午
5－10分钟
获取TOP10耗时的请求可以参见7.1节“最耗时的请求（TOP10）”
3
汇总本周提交最多的10个请求
1/周
周一上午
5－10分钟
获取TOP10提交最多的请求可以参见7.2节“最耗时的请求（TOP10）”
总计
周一上午
11－25分钟
注13：
登录到OracleApplication查看下面的4个定期运行的请求是否成功
清除过时的工作流运行时数据
清除并发请求和（或）管理器数据
运行统计数据收集模式
运行总帐优化程序
3.3.2数据库管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
检查系统无效对象并编译
1/周
周一上午
1－10分钟
对系统无效对象的处理请参考8.3节“数据库的非法对象”
2
检查是否有表或索引设置增长的百分比或下一次的扩展的尺寸过大
1/周
周一上午
1－5分钟
查找数据库表或索引增量TOP10，根据表或索引实际的增长速率调整其增量大小
3
检查是否某表空间内对象的下一次扩展的总和超过目前表空间的最大可用尺寸
1/周
周一上午
1－5分钟
查找是否表空间内对象的下一次扩展的总和超过目前表空间的最大可用尺寸
4
检查是否有数据库用户使用非TEMPORARY类型表空间作为临时表空间。
1/周
周一上午
1－5分钟
运行SQL查询是否有用户使用非TEMPORARY类型表空间作为临时表空间，SQL脚本可参见8.4节“用户的临时表空间”
5
检查是否有表或索引碎片过多需要优化
1/周
周一上午
10－30分钟
可参考8.5节“检查索引碎片”进行碎块的检测和整理
6
检查空闲表空间是否碎块过多需要优化
1/周
周一上午
10－30分钟
可使用altertablespacecoalesce对碎块较多的空闲表空间进行整理
7
汇总本周数据库程序库缓冲命中率
1/周
周一上午
1－5分钟
使用Oracle提供的statspack生成报表
8
汇总本周内存中排序比率
1/周
周一上午
1－5分钟
使用Oracle提供的statspack生成报表
9
汇总本周数据库数据缓冲命中率
1/周
周一上午
1－5分钟
使用Oracle提供的statspack生成报表
10
汇总本周数据库级的TOP5等待事件
1/周
周一上午
1－5分钟
使用Oracle提供的statspack生成报表
11
汇总本周最耗CPU的TOP10SQL
1/周
周一上午
5－10分钟
使用Oracle提供的statspack生成报表
12
汇总本周磁盘I/OTOP10的SQL
1/周
周一上午
5－10分钟
使用Oracle提供的statspack生成报表
13
汇总本周表空间I/OTOP10
1/周
周一上午
5－10分钟
使用Oracle提供的statspack生成报表
总计
周一上午
1－2小时
3.3.3主机系统管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
清理过时的系统临时文件
1/周
周一上午
1－5分钟
清理超过14天未访问的$APPLTMP/,/usr/tmp/,目录下的临时文件
2
检查磁带库和磁带使用情况
1/周
周一上午
1－10分钟
检查是否有足够的空间保存备份，磁带库运行中是否有错误出现
总计
周一上午
5－15分钟
3.3.4网络管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
升级网络安全软件版本（入侵检测漏洞库，病毒库）
1/周
周一上午
10－20分钟
总计
周一上午
10－20分钟
3.4系统月度维护检查工作列表
3.4.1MIS系统管理员负责部分
序号
工作内容
频率
时间
持续时间
备注
1
汇总本月用户登录审计信息，清除30天以前的审计信息
1/月
每月第一个工作日
5－10分钟
运行审计信息
统计报表
2
汇总本月新增的用户和职责
1/月
每月第一个工
升级会员 