FTP使用说明文档.docx

FTP使用说明文档.docx

《FTP使用说明文档.docx》由会员分享，可在线阅读，更多相关《FTP使用说明文档.docx（11页珍藏版）》请在冰点文库上搜索。

FTP使用说明文档

综合资源ftp采集

1ftp采集程序大shell使用说明

目录结构为：

bin：

为程序目录

cfg

为配置目录

log：

日志记录

1.1shell程序

bin目录下的ftpmain.sh为程序入口，主要验证参数合法性，收集要ftp文件的配置信息，处理日志信息，控制ftp采集的总流程。

1.2核心配置信息

4.1.1colparm.xml配置文件

--采集源服务器名，与参数对应的索引

/parser/cm_parser1/cm_parser1.sh--分析程序路径

--网元名列表

/pmapp/libin/spool/voice/CSZTE/cfg/nelist.txt

--ftp采集程序

/u1/tmn/datacol/cm_ftpcol/bin/ftpcol.sh

--流水日志

/u1/tmn/cmapp/ftpmain/log/logtd_nouxi_flow.log

--错误日志

/u1/tmn/cmapp/ftpmain/log/td_nouxi_err.log

2ftp采集程序使用说明

目录结构为：

Bin：

为程序目录

Conf：

为配置目录

Log：

Temp：

ftp命令以及日志的目录

2.1shell程序

ftpcol.sh为程序入口，主要验证参数合法性，收集要ftp文件的配置信息，处理日志信息，给ftpcore.sh传递参数。

ftpcore.sh为核心程序，得到配置文件里面的信息，ftp到服务器，下载文件。

log.sh为日志记录程序。

在ftpcol.sh里面定义了一个shell所在当前目录的变量MainDirectory。

将这个变量的值，改成该程序所在的目录。

timecreate1.sh为得到当前日期的shell。

返回的格式信息为周几（英文）_小时_分钟。

2.2perl程序

2.2.1digester.pl

digester.pl负责操作xml，取相应节点的值。

如果成功获取，则返回相应的信息；如果获取失败，则返回NULL。

里面的方法：

hasServerName

判断服务名id在配置文件里面是否存在

hasContent1

判断节点是否有内容。

有，返回true；没有，返回false

hasContent2

判断两个节点是否同时有内容。

有，返回true；没有，返回false

getContent

得到该节点的内容。

有内容，返回内容信息；没有，返回NULL

getComplexContent

得到更深一层的数据。

如果有多条，用空格作为分隔符。

如果都没有数据，则返回NULL

2.2.2operate.pl

operate.pl是实现shell不好实现的功能，并返回处理后的结果。

里面的方法：

getIncon

在缺失日志中，选取结尾为needcol的数据。

在传给shell时，将结尾的needcol字段去除，如果有多条数据，则以空格隔开。

addOver

如果该条缺失记录大于最大补采时间或最大补采次数，则在该行添加addOver字段，表明下次不再补采该条缺失记录。

bakRlostcfg

备份rlostcfg，每月1号将rlostcfg中上上个月的记录剪出来

getCpath

在自动补采时，读缺失文件，该方法是得到缺失文件所在服务器上的目录。

该方法调用了getInconFileMessage，如果有多个目录，则以空格隔开。

getCfile2

在自动补采时，读缺失文件，该方法是得到服务器上的缺失文件。

该方法调用了getInconFileMessage。

每条数据用,分割。

缺失文件所在的目录，与上面getCpath相对应。

举个例子：

服务器上有HP和MP两个目录里缺失文件，HP下缺失aaa.txtbbb.cfgccc.log文件；MP下缺失ddd.sqleee.NET文件。

getCpath返回的信息为:

HP空格MP。

getCfile2返回的信息为aaa.txt,bbb.cfg,ccc.log空格ddd.sql,eee.NET。

getStrCurrentTime

得到当前时间。

如果月份或日份为个数，则添加一个零，保证位数相同。

dealRlostcfg

处理缺失记录。

通过传入最大补采日期和最大补采次数，对缺失文件进行相应的操作。

analyseInputTime

将手动传入的日期参数分析出时钟、分钟和该天是星期几。

2.2.3timecreat.pl

operate.pl是实现shell传入日期参数的操作。

yearmonthday

返回的格式为：

yyyy_MM_dd

Weekhourminute

返回的格式为：

Monday_hh_mi

Yearmonthdayhourminutesecond

返回的格式为：

yyyy_MM_dd_hh_mi_ss

analyseInputTime

将一个字符串转化为相应格式的日期。

该方法用于手动补采。

3配置文件

3.1核心配置信息

3.1.1colparm.xml配置文件

这里定义了ftp采集日志等信息

…

…..

id属性为标识了该ftp服务名称。

/spool/npr/data/SCnew_siemens/tmp/

/spool/npr/data/SCnew_siemens/bak/

/spool/npr/data/SCnew_siemens/parser/

Server/SCnew_siemens/sendlostmsg.sh

/spool/npr/ftpcol/log/SCnew_siemens/flow_err/SCnew_siemens_ftpflow.log

这一块是自动采集的配置信息。

Keeppath为ftp下载到哪一目录。

默认配置三个，pitemid="1"是ftp下载到目录。

然后复制到pitemid="2"目录里，最后剪贴到pitemid="3"目录里。

如果只配两个，ftp下载到pitemid="1"目录里，然后直接剪贴到pitemid="2"目录里。

Othermethod定义了执行完主程序后，还要扩展内容。

比如像修改采集过来文件的文件名，读取网元名到指定的目录。

Flowlog定义了日志所要打印到的文件里面。

weekhourminute

/spool/npr/ftpcol/temp/

complex

false

timecreate定义日期生成格式（参数：

yearmonthdayyearmonthdayhourminutesecondweekhourminute详见timecteat.pl分析）。

ftpFile定义了采集所生成的ftp执行命令。

fname定义ftp登陆服务器时，将存在的文件名存入文件中（参数：

singlecomplex默认为complex）。

有的服务器只能ls一个文件，参数选为single。

完整的模板：

xmlversion="1.0"encoding="UTF-8"?

>

/u1/tmn/spool/voice/NOUXI/tmp/

/u1/tmn/spool/voice/NOUXI/bak/

/u1/tmn/spool/voice/NOUXI/parser/

../log/log/NOUXI/NOUXI_ftpflow.log

weekhourminute

../log/temp/

../server/NOUXI/sendlostmsg.sh

single

false

3.1.2ftpcol.xml配置文件

这里定义了配置信息。

--

/u1/tmn/npr/test/MP/data/path1

/u1/tmn/npr/test/MP/data1/path2

-->

CSA1/colpathcreat_csa1.sh

--

cfile1,cfile2

cfile1,cfil2,cfile3

-->

CSA1/colfilecreat_csa1.sh

CSA1/getexistfile_csa1.sh30

15

id属性为标识了该ftp服务名称。

如果colpath为空，则找colpathcreat属性，如果同时存在时，用colpath属性内容。

colpath属性为固定的目录，colpathcreat则是从shell代码里面获得的目录内容。

目的是要进入ftp服务器的哪一个目录。

如果colfile为空，则找colfilecreat属性，如果同时存在时，用colfile属性内容。

colfile属性为固定的目录，colfilecreat则是从shell代码里面获得的目录内容。

目的是ftp哪些文件。

如果colfile为空，则getexistfile必须有可以执行的shell。

目的是理论上ftp要下的文件。

frequ是延迟时间，以分钟计算。

最大不能超过24小时。

lag是ftp的时间粒度，用60除以该数目，必须是整数。

3.1.3ftpcon.xml配置文件

这里定义了ftp连接信息

10.154.33.80

21

wnms

Langchao#789

id属性为标识了该ftp服务名称，sip定义ip地址，port定义了端口号，suser定义了登陆名称，spwd定义了登陆密码。

3.2Server文件夹下配置信息

所有的ftp服务器，以id为名字，在Server下面建立文件夹。

3.2.1colparm的othermethod属性定义的shell

用户扩展功能用的shell：

扩展方法：

将采集过来的文件修改其文件名，将网元名列表写入到指定的文件中。

3.2.2fname_exit文件

得到当前ftp服务器上要采集文件前缀名，配合ftpcolgetexistfile属性定义的shell使用。

因为要得到当前ftp服务器确定的采集文件，用ls前缀*得到，所以这个前缀名信息要非常广。

3.2.3fname_filecreat文件

得到当前ftp服务器理论上要采集文件前缀名，配合ftpcolcolfilecreat属性定义的shell使用。

因为要得到当前ftp服务器确定的采集文件，用ls前缀*得到，所以这个前缀名信息要足够详细。

3.2.4ftpcol的colpathcreat属性定义的shell

有的ftp目标目录是随着时间变换的，比如目录为星期_时钟_分钟，所以要根据当前的日期，减去时间延迟，根据文件生成的粒度，计算出要ftp的目录是星期几，多少点钟，多少分钟。

3.2.5ftpcol的colfilecreat属性定义的shell

有的ftp目标文件是随着时间变换的，比如目录为前缀名_星期_时钟_分钟，前坠名则是从fname_exist里面得到。

根据当前的日期，减去时间延迟，根据文件生成的粒度，计算出要ftp的目录是星期几，多少点钟，多少分钟。

再加上前缀名，则得到了要ftp的文件。

3.2.6ftpcol的getexistfile属性定义的shell

有的ftp目标文件是随着时间变换的，比如目录为前缀名_星期_时钟_分钟，前坠名则是从fname_filecreat里面得到。

根据当前的日期，减去时间延迟，根据文件生成的粒度，计算出要ftp的目录是星期几，多少点钟，多少分钟。

再加上前缀名，则得到了要ftp的文件。

4注意事项

4.1xml配置文件

1、所有标识为目录的内容，最后以/结束。

比如colparm.xml文件里面的lostlogbak节点，表示缺失日志备份的目录，内容为/spool/npr/ftpcol/log/SCnew_siemens/lostbak/。

最后结束的时候必须有/符号。

4.2程序部署问题

1、shell程序不会自己定义文件夹，如果保存一个文件到这个目录，这个目录不存在，程序就会报错。

5操作步骤

1.在ftpcol/bin/ftpcol.sh脚本中修改bin的目录MainDirectory="/pmapp/datacol/ftpcol/bin"

2.配置conf目录下的配置文件

3.在ftpcol/server创建场景服务器id的文件夹，根据实际情况，写ftp的目录和ftp文件的脚本

4.在log/conf和log/log创建场景服务器id的文件夹

5.在/spool目录下创建保存数据的文件夹

6.进入bin目录，执行采集