火车头采集器采集与发布带图片的文章文档格式.docx

火车头采集器采集与发布带图片的文章文档格式.docx

《火车头采集器采集与发布带图片的文章文档格式.docx》由会员分享，可在线阅读，更多相关《火车头采集器采集与发布带图片的文章文档格式.docx（10页珍藏版）》请在冰点文库上搜索。

核心工作有两部分：

1、采集，2、发布。

本文重点说如何发布（带图片、排版），简单说如何采集。

一、新建一个使用UBB格式的Web在线发布模块

因为采集下来的文章内容是HTML格式，如：

<

p>

正文<

/p>

这样带有HTML标签的文本。

而DZ论坛使用的是UUB格式，如：

[p]正文[/p]，所以在发布时要做一个自动转换。

下面就是设置这个自动转换功能。

如果你的文章发布的DZ门户，就不需要转换为UBB.

1、打开发布模块配置：

2、以软件里自带的Discuz!

X2.0论坛为模板进行修改。

我试过了可以正常住Discuz!

X2.5发布文章。

3、设置为：

对[标签:

内容]做UBB转换，如下图中的样子：

最后，另存为一个新的“发布模块”，起一个新名字，后面要使用。

4、在“内容发布参数”选项卡中修改：

[标签:

内容]的值可以用使用{0}来替代。

如下图：

黄色框内的[标签:

内容]替换成{0}，如下图

第一部分工作就完成了。

二、使用Web在线发布模块

前面我新建了一个新的Web在线发布模块，下面就是使用它。

第一步：

新一个“发布”，操作如下图：

注意：

请到论坛的后台修改设置，要求登录时不需要输入验证码，才能登录成功，才能测试成功，记得以后要改回来啊。

最后保存时要起个新名字。

三、准备采集

这里以火车自带的采集演示来说明。

鼠标右击“腾讯新闻”—“编辑任务”，打开如下窗口。

如下图设置，使用前一步建立的“发布模块”，可以把采集到的内容发布到论坛的某个栏目中。

设置如下图：

下面还有图：

对于采集工作，还有一些重要的设置，很重要。

如果你不是使用火车头自带的演示任务，而是自己新建采集任务，下面的内容就很重要。

下面的设置，是对采集的文章正文进行的设置。

“开始字符串”，“结束字符串”是所有设置中最重要的内容，它用来分析页面的HTML源码，找出文章正文的开始点与结束点。

下图中使用的是火车头为腾讯准备默认值，不需要修改。

如果你不采集腾讯而采其它网站，这个就要你自己看HTML源码来人工分析了。

采集时，可选择性的过滤掉一些HTML标签，如<

script>

iframe>

，

如果你不知道要去掉哪些，就什么也不用改，使用默认值吧。

下载的图片存目录设置

图片下载后被保存在：

火车头软件安装目录\Data\LocoySpider\80\文件夹中。

为什么叫80，其实叫什么都可以，但为了方便管理，这个腾讯采集任务编号是80，所以放在80文件夹中。

以后是腾讯采集任务，采集下来图片都放在这里，方便管理。

腾讯采集任务编号，请再后面一张图片中查看。

客户通过浏览器访问我论坛的文章里的图片时，统一访问服务器上DZ程序的根目录下的./pic/目录，使用相对路径，pic目录下面我们再新建一个80目录，

所以，把火车头安装目录下的\Data\LocoySpider\中的80文件夹，COPY到服务器DZ程序的根目录下的pic目录中，

这样，图片就存储在了：

服务器DZ程序的根目录\pic\80\目录

同时文章中的图片的地址是指向./pic/80/xxx.jpg。

文章就可以显示图片了。

补充：

后来经过实践，目录定为：

/data/attachment/pic，好处是：

为了通过程序取文章中的第一张图片做为文章的“封面”，这个路径是合适的。

四、什么样的数据容易采集

请看这个新闻列表：

有文章列表的、URL地址有规律的文章，容易采集。

采集时优先找以上条件的文章进行采集。

一般知名大网站都可以。

知名大网站页面的HTML源码很简洁，方便人工分析，找出文章正文起点与终点的HTML标记。

.