fea3飞象大数据分析系统操作手册Word格式.doc
《fea3飞象大数据分析系统操作手册Word格式.doc》由会员分享，可在线阅读，更多相关《fea3飞象大数据分析系统操作手册Word格式.doc（99页珍藏版）》请在冰点文库上搜索。
4.3选取工作区 10
4.4功能实现 11
4.4.1新建空表 11
4.4.2克隆DF表 11
4.4.3数据增加 12
4.4.4数据过滤 13
4.4.5数据选择 13
4.4.6数据排序 14
4.4.7数据去重 15
4.4.8列类型更改 16
4.4.9字符串处理 17
4.4.10单字段分组统计 18
4.4.11行列互换 18
4.4.12填充空值 19
4.4.13设置索引 20
4.4.14重置索引 20
4.4.15分组统计 21
4.4.16UDF函数 21
4.4.17机器学习 22
4.4.18lambda函数 23
4.4.19简要信息 23
4.4.20绘图 24
4.4.21存储数据 24
第5章自助分析 25
5.1操作目标 25
5.2操作步骤 25
第6章交互分析 27
6.1操作目标 27
6.2操作步骤 27
第7章可视化设计 33
7.1操作目标 33
7.2操作步骤 33
7.2.1静态面板管理 33
7.2.2动态面板管理 37
7.2.3交互面板管理 38
7.2.4多屏互动管理 43
7.2.5导航管理 48
7.2.6门户展示 52
第8章数据加载 54
8.1操作目标 54
8.2操作步骤 54
8.2.1装载CSV类型数据 54
8.2.2装载PKL类型数据 55
8.2.3装载UDB（scan）数据源 55
8.2.4装载UDB（query）数据源 56
8.2.5装载JDBC数据源 56
8.2.6装载NOSQL数据源 57
第9章UDB连接 57
第10章JDBC连接 57
10.1操作目标 58
10.2操作步骤 58
第11章对象管理 61
第12章脚本运行 63
12.1上传脚本 63
12.2执行脚本 63
第13章系统管理 64
13.1用户管理 64
13.1.1搜索功能 64
13.1.2新增功能 65
13.1.3编辑功能 66
13.2应用管理 68
13.3图片管理 71
13.4方案管理 72
13.5授权码管理 73
第14章分析中心 74
14.1登录 74
14.2功能介绍 74
第15章预警中心 77
15.1登录 77
15.2功能介绍 77
15.3预警数据的产生 78
15.4存储预警数据 79
第16章IPAD导航 79
16.1登录 80
16.2导航切换 80
附录1交互分析操作流程 81
附录2可视化分析操作流程 93
附录3常见问题处理 99
5
第1章关于本手册
本手册，适用于使用“飞象大数据分析系统”产品的客户。
介绍了如何使用本产品各个功能，及各功能的具体操作方法。
1.手册组成内容
本手册，由以下内容组成：
“第2章在您操作之前”，介绍了在您使用本产品之前，需要的准备工作；
“第3章快速入门”，通过介绍产品的体系结构、登录退出方法、产品界面，以及产品的操作流程顺序，帮助您快速的认识产品。
第4到15章，根据第3章中的操作流程图，按顺序逐个展开，详细介绍各个功能的具体操作方法。
第2章在您操作之前
在您使用本产品之前，请您做好如下准备工作：
1.产品部署
1、已安装“飞象大数据分析系统”，且系统能正常使用。
（建议内存不少于128G，硬盘不少于50G）
2、集群部署：
多台FEA部署，形成分析集群，或者spark集群部署。
2.授权码
在系统安装完成以后，需对FEA3注册授权码才能正常使用。
发送申请授权码邮件后，会收到对应的授权码，将该授权码填入授权码页面即可。
3.浏览器
火狐、谷歌（建议使用火狐浏览器）
4.分辨率
显示器的屏幕分辨率，建议设置为1280*960、1920*1080。
5.软件系统需求
支持64位的centos系统，rehat系统，suselinux系统、ubuntu系统，建议采用centos6.5。
6.名词解释
术语
定义
FEA3
飞象大数据分析系统第三个版本的简称。
DF表
飞象大数据分析系统用于处理数据的内存表
交互分析
飞象大数据分析系统采用的原始语言，可以参考原语手册。
自助分析
飞象大数据利用ES做碰撞分析
spark集群部署
融合常见的hadoop、spark大数据平台，以集群方式分析数据。
第3章FEA3入门
3.1体系结构
3.2登入与退出
3.2.1登入
1.后台管理登入
用浏览器打开管理登录页http:
//ip地址/fea（例：
http:
//10.68.23.210/fea）。
如下图所示：
输入用户名密码后点击按钮。
进入到主界面。
说明：
初始管理员用户名为admin，密码为ilovefeat00!
。
新建用户初始密码统一为ilovefea。
2.门户展示登入
用浏览器打开门户登录页http:
//ip地址（例：
//10.68.23.210），如下图所示：
进入门户首页，如下图所示：
注：
登录门户前，必须通过后台管理配置好用户、应用、图片等关联信息。
3.2.2登出
登录首页后，点击右上角的图标，显示“修改密码”和“注销”，点击按钮即可退出界面。
3.2.3修改密码
点击右上角的按钮，“修改密码”出现如下界面：
输入新的密码，点击按钮，修改完成。
3.3操作流程
步骤1：
注册SN号。
参考安装手册第6章内容
步骤2：
添加用户。
为用户分配分析引擎，确定是否为分析人员进入后台，关联应用管理设置。
参考手册13.1章节内容。
只有admin用户具有添加、编辑用户权限。
步骤3：
加载数据。
将数据文件或者数据库中的数据导入到DF表中，进行分析处理。
可参考第8章内容或者原语手册load原语。
步骤4：
分析处理数据。
目前有两种方式进行数据处理：
可视分析，参考第4章内容；
交互分析，参考第六章内容和原语手册。
步骤5：
面板配置。
将分析结果通过图表直观的展示出来，可以展示静态面板、动态面板、交互面板、多屏互动等等。
具体操作可参考第7章中7.2.1、7.2.2、7.2.3、7.2.4。
每种图表有具体得数据格式要求，请参照可视化设计入门培训教程。
步骤6：
配置导航。
将配好图表的面板添加到导航中，方便以后展示给用户一个整体的内容。
可参考7.2.5和7.2.6章节内容。
步骤7：
图片管理。
为用户展示的内容添加背景图片，契合展示的主题。
可参考13.4章节内容。
步骤8：
应用管理。
提供了门户样式选择，轮播时间，门户的logo、背景、图表方案，以及展示的内容：
导航。
步骤9：
方案管理。
提供了各个图表插件的可自定义的样式配置方案。
步骤10：
用户管理。
为新添加的用户配置应用，关联上一步骤配置的应用管理。
每个不同用户就能得到不同的内容。
参考13.1章节内容。
第4章可视分析
4.1可视分析概述
可视化分析，可以让分析师像使用Excel数据透视表一样，处理大量规范数据，非常快速、高效、灵活。
在数据增加、过滤、选择、排序、去重、更改类型、字符串处理、分组统计等操作完成后，生成汇总数据。
不仅具有强大的数据处理能力，而且可以将数据以易于观察的折线图/柱状图/散点图/饼图/堆积图/面积图/排名表/信息块/文本信息/分页表格/地图散点图/地图热力图/热力图/南丁格尔玫瑰图/迁徙图/圆形关系图/力导向图/自定义关系图/桑基图/柱线图/横向柱状图/地图热力散点图/内外环/仪表盘/横向堆积图/面积堆积图等方式表现出来，更好的帮助分析师处理和比较数据。
使用更加灵活，呈现方式多样。
4.2操作目标
进入可视化分析界面，可以快速查看并选取不同工作区需分析的数据。
以表格的形式透视库里的数据，根据需要做简单的分析。
包括增加数据、过滤数据、选择数据、数据排序、数据去重、更改数据类型、字符串处理（数据类型输字符串）、数据分组统计、UDF函数、lambda函数、绘图、对数据进行存储。
4.3选取工作区
可视化分析界面中默认工作区的是在public，点击当前工作区的标签，输入工作区名称，回车之后就会切换到该工作区并显示该工作区所有的DF表。
初始界面
执行操作后界面
4.4功能实现
4.4.1新建空表
在打开的DF表中，输入表名，点击“确定”按钮，即可简单创建一张空表。
4.4.2克隆DF表
点击工作表区的，输入表名，点击，克隆一张数据结构相同的DF表
4.4.3数据增加
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“需要增加的列名”和“表达式”，点击，表中的数据就会增加一列（col1）。
4.4.4数据过滤
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“新的表名”和“表达式”，点击，表中的数据就会保留符合条件的数据，去掉条件之外的数据。
4.4.5数据选择
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“新的表名”，选取需要保留的“列名”，点击。
如下提所示：
4.4.6数据排序
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选择主要关键字和排序方式，点击。
4.4.7数据去重
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，输入“新的表名”和选取“字段名”，点击。
4.4.8列类型更改
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，先调整显示结果条数，选择下拉条，会有“10、25、50、100”四种显示方式。
可以快速搜素到字段名进行数据类型更改，如下图所示：
将col1字段类型int64改成布尔类型（bool），点击右边的，该字段数据类型得到更改。
4.4.9字符串处理
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击
，选取字段名，输入表达式，输入新列名，点击。
4.4.10单字段分组统计
，输入“表名”，选择“字段名”，点击。
4.4.11行列互换
，输入“表名”，点击。
4.4.12填充空值
，输入“表名”和“填充值”，点击。
4.4.13设置索引
，输入“表名”，选取“字段名”，点击。
4.4.14重置索引
即可。
4.4.15分组统计
，输入“表名”，选取“统计方式”，输入“函数”点击。
4.4.16UDF函数
，选择“UDF包”，输入“新的表名”，选取“函数包”，选取“函数名”，输入“参数”，点击。
函数包有3个，包括udf0包、udfA包、可视化VL包，没有参数的UDF函数可省略不写。
4.4.17机器学习
，输入“新的表名”，选取“机器学习函数”，输入“参数”，点击，没有参数的机器学习函数可省略不写。
4.4.18lambda函数
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选取“字段名”，输入“表达式”和“新列名”，点击。
4.4.19简要信息
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击。
4.4.20绘图
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，出现空白框，选择你需要的图形即可。
这里我选择了折线图，注数据类型不符合图表类型的是画不出图表的。
具体数据类型格式可参考《飞象大数据分析系统之可视化设计入门培训教程》
01折线图示例：
4.4.21存储数据
点击工作区下的表名，打开要分析的数据，选取要分析的数据，点击，选取“存储类型”，输入“文件名”和“参数”，点击。
数据将会存储在workspace目录下，可以直接通过load语句直接调用。
第5章自助分析
5.1操作目标
自助分析利用表的时间轴作为索引，读取表中的数据，展示部分数据内容。
自助分析有count、max、min、sum、arg等统计函数。
X轴有多种选择类型，包括terms、range、ip_range、histogram、date_histogram等。
简单的选择条件就能得到你想要的分析结果，绘出图形，为不懂SQL语句的用户提供好的体验。
另外提供了不同类型图形，下载图片，存储数据，与可视分析互动等功能。
5.2操作步骤
1、将ES集群和esql组件安装好，通过原语defineudb0asip:
8001将FEA3连接到udb上，可以通过showdefines查看是否连接对。
这时我们访问自助分析，点击选择索引的下拉框就有数据了。
必须是udb0连接，其他的都导致不能访问es集群的数据
2、选择ES集群上有时间轴的表，演示表ip_day。
选中该表，在面板上能展示部分数据。
3、上述步骤完成后，切换到分组面板，这时需要配X轴，Y轴。
Y轴函数默认不变，x轴选择date_histogram类型，字段是时间标识，间隔选择年，点击标签，得到分析结果。
4、图表切换，选择右上角的图表类型，可以切换图表类型。
也可以将图表保存到图片下载。
依次为数据视图、折线图、柱状图、还原、保存为图片。
依次点击数据视图、折线图、柱状图、还原、保存为图片按钮，就有不同的展现方式。
其中还原是将图表类型还原到初始图表，保存图片是将图表下载到本地。
如下所示：
数据视图
折线图
柱状图
第6章交互分析
6.1操作目标
高级交互通过原语实现数据分析，通过每条语句就能分析数据，得到结果，保存到ssdb上。
右边的工具箱就是快捷的操作，帮助分析师可以便捷的上传数据、脚本，查看运行的任务，定时器，日志输出等。
主要是分析师分析数据通过原语加载数据，分析数据，存储结果。
6.2操作步骤
1.原语操作
用usewwq新建工作区（为避免和他人干扰，建议自己新建工作区）。
输入原语（showtables，点击按钮或者“回车键”可以得到结果。
可以在调试窗口，输入原语进行调试。
调试无误后，可叫调试窗口的原语保存为fea脚本。
2.文件管理
点击右边的文件管理工具，进入管理界面如下图所示：
数据上传操作：
点击按钮，选中数据文件，点击按钮，即可将文件上传，目前支持的数据文件格式较多，包括：
csv、pkl、txt、EXCEL、sql。
下图红色部分即为新上传的文件。
fea脚本上传操作：
点击按钮，选中fea脚本，点击按钮，即可将脚本上传。
下图红色部分即为新上传的fea脚本。
在线创建、编辑fea脚本操作：
在输入框中输入fea脚本名称，点击新建按钮，即可新建fea脚本进行在线编辑。
里面的内容是关于ML_studio.fea脚本的原语代码，
点击“标准化fea脚本”，自动在脚本开头插入以下注释，用户可根据具体情况来编辑内容
如果脚本中的中文乱码，则可以通过“gbk编码转utf8编码”功能来实现中文的正常显示。
点击上方的“在线编辑”后，出现编辑页面，可以添加、删除、修改、注释各个原语语句。
编辑好后，点击保存代码标签，上方会出现保存成功的提示，如下图所示：
UDF函数上传操作：
点击按钮，选中udf文件，点击按钮，即可将udf自定义函数文件上传。
3.正则表达式
点击按钮，可以查看数据格式，规范化数据处理。
避免不必要错误。
比如ip地址数据格式是：
\d+\.\d+\.\d+\.\d+，日期的数据格式是：
^\d{4}-\d{1,2}-\d{1,2}。
验证采集的数据是否符合正则表达式，将日志2011-2-30输入在线正则表达式测试框，点击按钮，正确就能得到反馈的正确结果。
不正确匹配结果，如下图所示：
4.控制台
点击按钮，可以查看DF表，运行任务，连接，定时器，单值变量，日志输出等信息。
第7章可视化设计
7.1操作目标
FEA根据需要，还可以开发各种可视化图形，迅速的修订各种图表的显示方式，这也是FEA数据分析工具的独特优势：
站在数据使用者的角度，定制打造分析工具。
分析师可以根据展示需要，把数据报表整理成各种图形要求的数据格式，通过FEA把相关数据用各种图形展示出来。
让用户对结果一目了然。
7.2操作步骤
7.2.1静态面板管理
点击，选择，进入静态面板管理。
输入ID，中文描述（非必填项）
点击按钮，进入静态面板的构建页面，即可进行图表的绘制。
面板选项说明：
名称
是否必填项
名词解释
图表选择
否
选择该面板已绘制的图表
数据（Key）
是
用于绘图的ssdb数据库中的数据
绘图标题
解释该图的作用
图表类型
绘图的类型
宽度
图表的宽度
高度
图表的高度
横坐标
图表起始位置的横坐标
纵坐标
图表起始位置的纵坐标
图层
图表所在的图层，共0-10层，0最低，10最高，默认为第5层
图例
图表中个颜色所代表的对象，可自定义显示位置（上下左右）
边框
图表的边框，有10种边框样式可供选择
X轴名称
X坐标的注释
Y轴名称
Y坐标的注释
刷新时间
刷新图表数据的间隔时间，空表示不刷新
功能键说明
新建
根据面板设置的参数，新建一个图表
删除
删除选中的图表
重绘
根据面板设置的参数，重新绘制选中的图表
预览
全新的面板，必须在保存面板设置之后才能预览
保存
保存当前的面板设置
返回
面板左上角的返回按钮，返回到静态面板管理页面
缩放
面板右上角的缩放按钮，点击后可以收缩、展开面板
Esc
构建页面的刻度尺显示快捷键，按下可以显示或隐藏刻度尺
Del
删除图表的快捷键，按下可删除选中的图表
Ctrl
多选键，按住Ctrl键，同时选中多个图表，可对多个图表进行对齐操作
示例如下图所示：
7.2.2动态面板管理
点击，选择，点击进入动态面板管理界面。
输入ID，中文描述（非必填项），参数（填写格式为@变量名=默认值，例如@name=ww）
面板选项、功能键同静态面板。
注意数据（Key）选项中，动态面板可以用@变量名来代替某些动态的Key名。
示例如图所示：
7.2.3交互面板管理
点击，选择，点击进入交互面板管理界面。
点击按钮，进入构建页面。
交互面板共分以下5种类型：
查询统计：
通过查询条件，将查询统计得到的数据，通过关联的页面展示出来，只能显示单个结果。
搜索：
通过搜索条件，将搜索得到的数据，通过关联的页面展示出来，可以显示多个结果。
CRUD：
以表格的形式，对数据进行增删改查操作。
CRUD2：
表单：
以表单的形式，对数据进行编辑操作。
下面以查询统计和搜索类型为例进行说明。
Ⅰ查询统计
面板选项说明
脚本
查询统计所执行的脚本
参数名
查询内容所对应的变量
默认值
查询内容的默认值
中文名
查询框的中文描述
类型
查询框的展现形态，有文本框、下拉框等15种类型
是否显示
是否在交互面板显示查询框
字典关联
当类型为下拉框时，激活该选项。
选取字典Key作为下拉框的内容，字典Key必须以dd:
开头
操作
可以对参数进行上移下移和删除操作
页面关联
选择将查询统计的结果数据，以静态面板或动态面板或多屏互动展示
位置
查询框在交互面板的位置
状态
查询完成后，选择查询框是否仍显示
构建一个用于主机查询的交互面板，用于查询的fea脚本为znyw_zj_info.fea，查询条件为IP地址，查询框的默认值为10.68.120.74，对应脚本的变量参数为@ip，将查询结果通过ID为lchinfo2的动态面板展示，其中查询框位于交互面板的左侧，并且在查询完成后一直显示。
脚本znyw_zj_info.fea内容详见附件。
ID为lchinfo2的动态面板内容如下图所示：
保存上述的交互面板设置，进行预览，可在查询框输入IP地址，查询对应的主机信息。
Ⅱ搜索
交互面板的标题
主页面
交互面板的主页面，可引用静态面板、动态面板、多屏互动
搜索框的中文描述
搜索所执行的脚本
参数
搜索内容所对应的变量
面板
选择将搜索的结果数据，以动态面板展示
行数
每页显示的结果数量上限
结果集
搜索得到的结果数据的集合，以Key的形式保存在ssdb数据库中，并依次将结果集中的数据，通过参数传递给关联的动态面板。
结果集中有多少条数据，交互面板就会得到多少个结果（每个结果都通过关联的动态面板展示）。
结果集是一种临时性的Key，一般以@FPS结尾，如test_@FPS。
其中@FPS是系统执行脚
升级会员 