数据分析系统用户操作手册.docx
《数据分析系统用户操作手册.docx》由会员分享，可在线阅读，更多相关《数据分析系统用户操作手册.docx（59页珍藏版）》请在冰点文库上搜索。
数据分析系统用户操作手册
数据分析系统
操作手册
一、前言
1.1、编写目的
本文档主要介绍日志分析系统的具体操作方法。
通过阅读本文档，用户可以熟练的操作本系统，包括对服务器的监控、系统的设置、各类设备日志源的配置及采集，熟练使用日志查询、日志搜索功能，并掌握告警功能并能通过告警功能对及日志进行定位及分析。
1.2、读者对象
系统管理员：
最终用户
项目负责人：
即所有负责项目的管理人员
测试人员：
测试相关人员
二、系统综述
2.1、系统架构
系统主界面为所有功能点的入口点,通过主菜单可快速定位操作项。
系统主要分为四大模块，分别为
1）：
仪表盘
2）：
应用中心
3）：
策略配置
4）：
系统管理
2.1.1系统浏览器兼容
支持的浏览器
IE版本
IE8至IE11等版本
Googlechrome（谷歌浏览器）
Chrome36及以上版本
MozillaFirefox（火狐浏览器）
Firefox30及以以上版本
建议使用火狐浏览器、Chrome浏览器、IE8浏览器
三、功能说明
3.1、登录退出
3.1.1、登录
打开浏览器，在浏览器内输入URL，例如：
进入登录页面。
默认系统管理员账户：
admin密码：
123456
3.1.2、退出
用户admin登录进入系统页面，页面右上角有个“退出”的图标，点击该图标，页面返回至登录页面。
3.1.3、用户信息
用户admin登录进入系统页面，页面右上角显示当前登录用户的用户名，点击该用户名，可以查看/编辑用户信息（不能修改用户名）和修改用户密码
注：
e-mail可以使用中文字符
3.2、仪表盘
仪表盘，又俗称Dashboard。
它通过将数据可视化的方法，向用户直观地展示信息和关键业务指标，清晰而直观地传达关键信息给用户，传递出来的信息能够快速被理解。
3.2.1、报表选择
点击页面右上角
图标，在页面上可以显示已创建且未添加至仪表盘页面的报表，但最多能显示8个；可以通过“查询”搜索没有显示的报表，还可以通过该页面的“新增”功能直接创建新报表。
1、查询报表：
查询没有显示在列表中的报表添加在仪表板
在文本框中输入报表名称，点击“查询”，显示根据报表名称查询出的报表（支持模糊查询）
2、新增报表：
直接通过仪表板界面新增
点击“新增”，页面跳转至“策略配置”的新增报表界面。
3.2.2、布局方式
支持4种不同风格的布局方式，用户可根据使用习惯随意切换。
3.2.3、仪表盘管理
Ø重命名仪表盘：
修改当前显示仪表盘的名称。
（仪表盘名称最多20个中文字符，如果输入超过20个中文字符，保存后，自动显示前20个中文字符）
Ø删除仪表盘：
删除当前显示的仪表盘。
若当前仪表盘为主页，删除主页仪表盘后，页面会显示仪表盘列表中第二个仪表盘。
Ø保存布局：
点击切换布局方式后，需点击保存布局，否则，刷新页面或重新登录后，布局方式会被重置为之前保存的布局。
Ø重置布局：
点击切换布局方式后，不保存布局，点击重置布局，布局方式恢复原样。
Ø设为主页：
页面的默认显示。
主页只有一个，设置新的仪表盘为主页后，原先的主页会自动变成非主页。
登录后，页面自动显示被设为主页的仪表盘
Ø导出PDF：
当前仪表盘以PDF格式直接浏览且可以保存至本地。
Ø新建仪表盘：
直接进入创建仪表盘页面，创建新仪表盘。
1、新增仪表盘。
仪表盘名称不能重复，且不能超过20个中文字符
Ø管理仪表盘：
显示当前仪表盘的信息，同时可以新增仪表盘，对已有仪表盘进行修改、删除、查找等操作。
1、修改仪表盘。
点击“编辑”图标，进入编辑页面，修改仪表盘信息。
2、删除仪表盘。
支持单条删除和批量删除。
3.2.4、单个报表
Ø最小化：
点击“最小化”后，整个报表收缩到只是显示“标题栏”，该仪表盘中其他报表自动上移，最小化的报表显示在和仪表盘名称同排的位置，多个报表最小化也同样显示，点击最小化后的
图标，报表恢复到原来的位置。
最初显示，如图：
最小化后显示，如图：
Ø最大化：
点击“最大化”后，整个报表扩展到整个仪表盘所在的页面。
最初显示，如图：
最大化后显示，如图：
Ø刷新：
手动刷新报表，“最后刷新时间”随之改变
Ø导出PDF：
当前报表以PDF格式直接浏览且可以保存至本地。
Ø编辑：
进入该报表的“定制图表”页面，可重新编辑图表。
具体操作可参考3.4.2.1创建报表的步骤3。
Ø刷新频率：
默认为60秒，可自己手动设置自动刷新的频率。
设置刷新频率保存时，该仪表盘中展示的所有报表同时刷新。
Ø删除：
将该报表从本仪表盘移除。
删除时可根据页面提示“是否确定删除”框操作。
3.3、应用中心
应用中心，又称“数据应用中心”。
其功能是可安装、升级各种应用程序；利用收集得到的数据，构建不同的数据应用场景。
3.3.1、数据搜索
数据搜索功能提供功能强大、简单易用的方式搜索数据，可以在海量数据中快速找到需要的数据，并且以图表和报表的形式同时显示。
其功能主要由搜索语句、时间范围、索引库、过滤字段、过滤、字段及搜索结果七部分组成。
如图：
3.3.1.1、搜索语句
搜索文本框中的搜索语句，支持“新搜索语句”、“历史记录”和“保存搜索”三种方式的输入。
备注：
1、历史记录：
只显示最近查询的前10条搜索语句。
2、保存搜索：
可在搜索文本框中输入后，点击保存按钮，直接保存。
具体操作请参考：
3.4.4.1创建预设。
3、保存PDF：
将查询出的数据图以PDF格式直接浏览或下载至本地浏览。
保存PDF，如图：
3.3.1.2、简单搜索规则
1、全文检索包含以下规则：
ØOR或空格（OR必须大写）---搜索条件包含A或B（例：
AB,AORB）
例：
_type:
HsmErrorOR_type:
72或_type:
HsmError_type:
72两种写法
_type:
HsmErrorOR_type:
72，如图：
_type:
HsmError_type:
72，如图：
ØAND（AND必须大写）---搜索条件必须同时包含A和B（例：
AANDB）
例：
err_type:
0ANDhsm_port:
1808，如图：
ØNOT（必须大写）---匹配数据不包含条件（例：
NOTA）
例：
NOTSource_IP:
172.16.1.243，如图：
Ø+（加号）---搜索结果必须包含该项（例：
AOR+B,必须有B，可以没有A）
例：
err_type:
0OR+hsm_port:
1808
A和B同时存在，如图：
只存在B，如图：
Øphrase~---相似度查询（例：
close,搜索结果会含有closed）
例：
remar~，如图：
2、短语查询包含以下规则，如图：
Ø""---引号内内容完全匹配查询（结果不区分大小写）（例：
"phraseloading"）
例：
"26749f9439c5d742ee9d2ba7283ebe36f5"，如图：
Ø""~N---查询日志必须包含引号内容，引号内单词最大间隔N（例：
"phraseloading"~5）
注：
一个单词算一个间隔
例：
"ExecuteThreadself-tuning"~10，如图：
3.3.1.3、复杂搜索规则
1、精确查询包含以下规则，如图：
条件：
查询格式：
field:
value（field是字段名，应当为字符串，搜索时区分大小写字母，
不得使用?
*等字符；value可以是字符串、数值、日期，字符串不区分大小写字母，
支持模糊查询、短语查询、简单正则表达式查询、相似性查询）
Ømessage:
A---匹配message字段值包含A
例：
_type:
03，如图：
Ømessage:
"phraseloading"~5---在message字段查询“phraseloading”，匹配的日志也必须包含“phraseloading”，两个单词最大间隔5
例：
LOG_TEXT:
"ExecuteThreadself-tuning"~10，如图：
2、逻辑运算符包含以下规则，如图：
ØAAND（BORC）---匹配的数据中必须包含A，还要包含及B或者C中的任一个
包含A和B或者包含A和Ｃ的情况，如图：
例：
ExecuteThreadAND（OR1448253211596），如图：
Ａ、Ｂ、Ｃ三个条件同时包含的情况，如图：
例：
ExecuteThreadAND（OR1448253211596），如图：
Ømessage:
AAND（BORC）---message字段必须包含A，还要包含及B或者C中的任一个
例：
TASK_ID:
93AND（HOST_NO:
20.20.20.26OR_type:
02）
A、B、C三个条件同时包含，如图：
包含A和B或C中的其中一个条件，如图：
3、范围查询包含以下规则，如图：
Ø>=或TO*（TO必须大写）---搜索匹配字段大于等于（例：
num:
[300TO*]或num:
>=300）
例：
TASK_ID:
[72TO*]，如图：
TASK_ID:
>=72，如图：
Ø<=或*TO（TO必须大写）---搜索匹配字段小于等于（例：
num:
<=400或time:
[*TO2012-01-01]）
例：
ORG_ID:
[*TO10]，如图：
ORG_ID:
<=10，如图：
Ø{ATOB}（TO必须大写）---搜索匹配范围之内（不包含边界值）（例：
num:
{300TO400}，效果等同于：
num:
（>300AND<400））
例：
TASK_ID:
（>72AND<94），如图：
Ø
[ATOB]（TO必须大写）---搜索匹配范围之内（包含边界值）（例：
time:
[2012-01-01TO2012-01-02]）注：
如果查询时间范围，时间只能从前往后，不能从后往前
例：
IN_TIME:
[2016-01-20T17:
55:
08TO2016-01-20T17:
56:
08]，如图：
4、字段检索（查询某个字段是否存在）包含以下规则，如图：
Ø_missing_:
content---字段空检索（字段不存在），匹配不存在字段content的数据。
例：
_missing_:
TASK_ID，如图：
Ø_exists_:
content---支持字段存在检索，匹配存在字段content的数据。
例：
_exists_:
TASK_ID，如图：
5、组合查询包含以下规则，如图：
ØAAND（BORC）ANDnum:
[400TO499]ANDmessage:
use*
例：
TASK_ID:
78AND（ORG_ID:
1ORplatform:
android）ANDDATA_ID:
[10TO100]
ANDHOST_NO:
0.0.0.0
如图：
6、特殊字符处理包含以下规则，如图：
Ø\\*error-匹配包含*error的数据
例：
\\[1438421639108\\]，如图：
3.3.1.4、时间范围
使用下拉菜单快速挑选预设时间方案或设置自定义时间范围。
时间说明：
最近1小时：
以当前系统时间为标准，往前推1小时，单位精确到秒。
前1小时：
已当前系统时间为准，往前推1小时（注：
按整数点算）
今天：
当天0点至第2天0点。
自定义：
“类型”可选择“最近”和“前”，“数量”可根据自己查询需求填写，“单
位”可选择“分钟”、“小时”、“天”、“周”和“月”。
日期范围：
可随意设置正确的时间范围
3.3.1.5、索引库
选择数据所在的索引库，支持正则匹配。
3.3.1.6、过滤字段
显示从日志里面添加的搜索内容，包括搜索字段+具体内容，查询数据。
如图：
过滤字段的操作方法：
1、启用搜索条件。
添加搜索字段后，默认为“启用”。
如图：
2、禁用搜索条件。
点击按钮出现蓝色阴影后，禁用该条件。
如图：
3、否定搜索查询。
点击“圆形按钮”（默认启用查询），变否定条件查询。
如图：
4、禁用否定条件。
点击按钮出现蓝色阴影后，禁用该条件。
如图：
5、中内容的使用。
如图：
5.1、添加到搜索（AND）。
如图：
5.2、添加到搜索（OR）。
（和添加到搜索（AND）相同）
5.3、从搜索中排出（注：
想要排出的查询条件必须显示在“过滤字段”中）。
如图：
5.4、替换搜索（注：
当“过滤字段”中没有条件时，点击“替换搜索”后，该查询条件显示在“过滤字段”中；当“过滤字段”中存在条件时，点击“替换搜索”后，该条件将替换掉之前“过滤字段”中存在的条件；不论“过滤字段”中存在多少个条件，都会同时被“替换搜索”的条件替换掉）。
如图：
3.3.1.7、过滤
可通过“采集任务”、“采集任务分组”和“目标主机”快速过滤，其中“目标主机”过滤条件是在“索引库”的条件下进行过滤的。
3.3.1.8、字段
使用字段过滤快速增加条件至搜索文本框查询数据。
点击“字段”下的某个字段，搜索文本框中显示该字段名，然后手动补充该字段的具体内容，点击查询。
3.3.1.9、搜索结果
根据搜索最终组合条件显示搜索结果，包括搜索结果图形展示及原始数据分页展示，其中原始数据展示可查看原始数据及抽取的字段，提供列表及表格两种模式，表格模式类似EXCEL或数据库表格，显示选择的特定字段及其对应值。
列表格式：
表格格式：
3.4、策略配置
3.4.1、数据采集
数据采集功能包括“采集任务”、“任务分组”和“任务下发”三部分。
数据采集，是系统最基本的环节，若没有配置一个采集任务，是不会采集到任何日志；
采集任务主要设置被采集对象、接受对象、采集方式、存储方式等。
3.4.1.1、任务分组
在查询采集任务时，为了方便查询，创建采集任务时，需把任务归属至预先创建的分组中，故系统中至少存在一个任务组。
选中某一任务组时，页面列表会显示该任务组下的所有任务记录；不选中任一任务组时，页面列表显示所有的任务记录。
任务分组以树形结构显示。
当鼠标指向任务组名时，组名右边显示该分组的“编辑”模式。
Ø新增：
组名长度不能超过20个字符。
一个任务组下可以存在多个子任务组，且同一任务组下的子任务组不能同名或为空。
Ø修改：
可随意修改被采集任务使用（或未被使用）的任务组的名称。
Ø删除：
只允许删除未被使用的任务组。
Ø查询：
每个任务组都是独立存在的。
选中任务组的根目录时，页面列表只显示根目录下的采集任务，而不是显示所有的采集任务。
3.4.1.2、创建任务
采集任务主要是由任务的基本信息、采集方式、数据展示、执行计划、存储方式和任务摘要六部分组成的。
一个采集任务以“向导”方式进行配置。
可以通过“上一步”或者“下一步”导航进行配置；为了用户使用方便，用户可以通过鼠标点击每一步的大菜单上的链接，直接进入到该步的配置项页面。
Ø基本配置：
设置任务的基本信息。
其中，同一任务组下的任务名称不能重复（任务名称不能超过50个中文字符）。
采集代理显示的是已注册代理的代理名称。
Ø采集方式：
分为主动采集和被动采集两大部分。
1、主动采集：
指的是由Agent主动发起数据采集请求。
主动采集方式有：
FTP文件采集、通用数据库采集、SSH远程监听文件、本地文本文件、SCP文件采集、Telnet远程监听文件和WMI。
2、被动采集：
指的是目标机通过网络方式发送，Agent被动接收数据。
被动采集方式有：
Syslog采集、SnmpTrap采集和自定义被动采集。
3、不管哪种采集方式，Agent及目标机需保持网络通讯，否则，任务下发失败。
4、不同的采集方式，其配置信息也不同。
（各种采集方式的详细配置，请参考附件：
数据采集—配置手册.docx）
定时采集：
通过定时条件，对数据进行定时采集。
如图：
（具体操作方式可参考3.4.2.6离线报表）
Ø数据展示：
分为数据样例、数据标准化策略2部分。
1、数据样例：
系统对目前配置的数据源头的采集，或者用户COPY进来的数据。
此部分数据主要是用来展示。
2、数据类型：
显示数据标准化策略，将非结构化的数据标准化。
用户可以选中已配置好的数据类型，可以在该页面配置新增保存需要的规则，也可以在该页面配置完后不保存立刻使用，但仅在此任务中起作用。
“添加新数据类型”的具体操作请参考：
3.4.3.2创建规则。
Ø执行计划：
配置数据采集任务的执行频率。
（注：
被动采集，只能进行实时采集）如图：
定时采集中的运行频率选择
选择的执行频率不同，时间条件随之变化。
如图：
Ø存储方式：
分为存储策略和存储方式2部分。
1、存储方式：
包括数据集群存储和文件存储。
两者只能选其一。
数据集群存储：
把已标准化的数据存放至ES服务，用户可以通过“数据搜索”页面查询相关日志。
文件存储：
系统将已标准化的数据存放至采集服务端后台。
Ø任务摘要：
显示前面配置的所有细节，用于确定检查任务的所有配置信息。
任务信息确认后，点击“保存”，保存成功后，返回至任务报表，该任务记录默认是任务报表的第1条记录，任务的下发状态为“待下发”；点击“保存并下发”，保存成功后，返回至任务报表，该任务记录默认是任务报表的第1条记录，任务的下发状态为“已下发”。
3.4.1.3、查询任务
支持代理名称、下发状态和任务名称的精确/模糊查询。
根据查询最终组合条件显示查询结果，查询结果则以报表的形式分页展示。
3.4.1.4、修改任务
点击任务报表中某条任务记录的编辑按钮，进入“编辑策略”页面，具体操作步骤及“创建任务”的步骤相同。
修改已下发状态的任务，页面任务记录更新成功，下发状态仍是已下发，axlog.conf文件不变。
修改未下发状态的任务，页面任务记录更新成功。
3.4.1.5、删除任务
支持删除未下发和已下发的采集任务。
删除已下发的任务，表示该采集任务也被终止了。
点击任务报表中某条任务记录的删除按钮，确认是否删除该条记录。
3.4.1.6、任务下发
采集任务配置完后，需下发该任务，其采集任务才会执行。
下发任务，可以在设置完新增采集任务配置后，点击“保存并下发”按钮，下发该任务；也可以在保存完采集任务后，返回到“策略配置-数据采集”页面下发任务，并且支持单个任务下发和批量下发，但取消下发只能单个任务取消。
当采集任务状态为已下发时，表示采集任务正在执行。
3.4.2、报表
报表主要是将产生的所有日志绘制成图表的形式展示出来，用户可以通过图表来大致了解日志的生成情况。
并可根据不同的时间段来制定出不同的图表，以达到用户不同的需求。
显示已创建报表信息，如图：
3.4.2.1、创建报表
创建一个报表需要进行选择图表类型、选择数据来源、定制图表和报表4步。
创建时，用户步骤1、2、3需按顺序执行，否则，需重新配置。
点击新增按钮，进入图表配置页面。
步骤1、选择图表类型，支持的数据类型有面积图、表格、线形图、饼状图和垂直条形。
鼠标指向单个图表类型时，会有相对应的文字说明。
点击“选择”，进入“选择数据来源”配置项。
步骤2、选择数据来源，可选择“使用一个新的搜索”或选择“已保存的搜索”
使用一个新的搜索：
进入定制图表界面显示。
如图：
选择已保存的搜索：
（条件：
@date=2015-11-03），进入定制图表界面鲜显示。
如图：
步骤3、定制图表，用户可根据需求制定不同的图表。
生成图表后，点击下一步。
（报表的具体配置可查看附件中的“报表—配置手册”）
定制图表的操作步骤如下：
1）设置搜索条件和时间范围，点击查询
2）选择索引。
更换索引条件，Y轴和X轴配置会被重置。
3）设置Y轴，一个图表的Y轴可设一个或多个维度。
Y轴可配维度有：
计数、平均值、求和、最大值、最小值、去重、百分位数值、百分位范围和百分比（表格和饼状图除外），除了计数和百分比外，其它维度都可设置Script。
另外，用户还可以通过“高级”，修改Y轴的标题和展示的颜色。
4）设置X轴，一个图标的X最多可设置两个维度，且第二个维度是在第一个维度的基础上进行分割的。
X轴可配维度有：
日期直方图、数字直方图、数值范围、日期范围、分组和过滤。
其中“分组”的排序指标除了含有Y轴的维度外，还可以自定义指标。
另外，用户还可以通过“高级”，修改X轴的标题和展示的颜色。
5）点击
，生成图表。
步骤4、报表信息，填写报表名称和执行计划，点击保存，生成报表。
3.4.2.2、查询报表
支持报表名称的精确/模糊查询，根据查询和创建时间。
最终组合条件显示查询结果，查询结果则以报表的形式分页展示。
3.4.2.3、修改报表
点击报表记录中某条任务记录的编辑按钮。
具体步骤同创建报表相同。
若要修改报表的图表类型，可点击“选择图表类型”的链接，进入到图表类型的配置页面。
3.4.2.4、删除报表
支持单条、批量删除报表记录。
3.4.2.5、报表信息
报表信息包含“基本信息”和“执行计划”。
如图：
3.4.2.6、离线报表
离线报表，创建报表时，将“执行计划”设置成“生成离线报表”
生成离线报表条件创建。
如图：
运行频率条件设置，选择不同的运行频率，需要创建的条件会随之改变。
运行频率分为每天执行、每周执行、每月执行和执行一次四个频率。
每天执行需要小时和分钟条件；每周执行需要周、小时和分钟的条件；每月执行需要日期、小时和分钟的条件；执行一次不需要时间条件。
（注：
开始时间是每个运行频率必填条件）
注：
当时间设置为“*”时，指所有时间（整点时间）
当时间为“*/1”时，指每1小时（分钟）执行一次
离线报表生成后展示。
如图：
3.4.3、数据类型
数据类型用来配置网络（例如：
cisco、h3c）设备或者服务器（linux、Windows）等采集数据的规则，包含新增、修改、删除、查询功能。
页面展示：
3.4.3.1、类型分组
数据类型分组以树形结构显示。
当鼠标指向类型组名时，组名右边显示该分组的“编辑”模式。
Ø新增：
组名长度不能超过50个中文字符。
一个数据类型组下可以存在多个子组，且同一分组下的子组不能同名或为空。
Ø修改：
可随意修改被采集任务使用（或未使用）的类型组的名称。
Ø删除：
只允许删除未使用于采集任务的叶类型子组。
Ø查询：
每个类型组都是独立存在的。
选中类型组的根目录时，页面列表只显示根目录下的数据规则，而不是显示所有的数据规则。
3.4.3.2、创建规则
新增规则时，规则名称不能重复，一个可创建1条或多条子规则，并且可以调整各个子规则的顺序。
规则信息分为基本信息和标准规则两部分。
基本信息：
操作步骤：
1、在策略配置页面上点击“新增”按钮，打开一个编辑规则基本信息页面。
2、输入名称和任务组信息，其中任务组选择数据类型的目录。
3、合并多行是可选框，选中之后显示以开始和以结束两个文本框。
4、点击“下一步”按钮
标准规则：
说明：
一个规则里可以有1条或多条子规则。
采集配置的时候根据优先级进行匹配，
升级会员 