使用八爪鱼v7采集知乎发现话题信息.docx

使用八爪鱼v7采集知乎发现话题信息.docx

《使用八爪鱼v7采集知乎发现话题信息.docx》由会员分享，可在线阅读，更多相关《使用八爪鱼v7采集知乎发现话题信息.docx（12页珍藏版）》请在冰点文库上搜索。

使用八爪鱼v7采集知乎发现话题信息

使用八爪鱼v7采集知乎发现话题的信息

本文介绍使用八爪鱼采集知乎-发现-话题为例

采集网站：

#signin

使用功能点：

●八爪鱼7.0教程——AJAX滚动教程

/ajgd_7.aspx?

t=1

●cookie登陆方法（7.0版本）

/cookie70.aspx?

t=1

相关采集教程：

新浪微博数据采集

豆瓣电影短评采集

搜狗微信文章采集

步骤1：

创建采集任务

1）进入主界面，选择“自定义模式”

使用八爪鱼v7采集知乎发现话题的信息图1

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

使用八爪鱼v7采集知乎发现话题的信息图2

步骤2：

登录知乎

1）系统自动打开网页，进入知乎登录页面。

系统默认停留在扫描二维码登录页面。

点击“使用密码登录”，选择“更多操作”

使用八爪鱼v7采集知乎发现话题的信息图3

2）选择“点击该元素”，进入“使用密码登录”页面

使用八爪鱼v7采集知乎发现话题的信息图4

3）依次点击账号和密码输入框，输入账号和密码（直接输入，可忽视操作提示框）

使用八爪鱼v7采集知乎发现话题的信息图5

4）点击“登录”按钮，选择“点击该按钮”

使用八爪鱼v7采集知乎发现话题的信息图6

5）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。

系统会自动登录知乎。

再次选中“打开网页”步骤，打开“高级选项”，打开“缓存设置”，勾选“打开网页时使用指定Cookie”。

八爪鱼会记住这个cookie状态，下次打开这个页面的时候，就会以登陆之后的状态打开

使用八爪鱼v7采集知乎发现话题的信息图7

注意：

由于cookie是有生命周期的，这个周期多长时间取决于采集的网站。

如果cookie到期了，就需要再重新获取一次登陆之后的cookie。

另外，如果需要切换账号，可以勾选“打开浏览器前清理缓存”，然后再取消cookie，重新设置其他账号即可。

步骤3：

设置Ajax下拉加载

1）点击“发现”按钮，在操作提示框中，选择“点击该链接”

使用八爪鱼v7采集知乎发现话题的信息图8

2）系统自动挡进入“发现”栏目下的话题页面。

我们发现，下拉页面，会出现“加载中”的字样，等待约2秒，会有新的数据加载出来。

经过约40次下拉加载，页面达到最底部

使用八爪鱼v7采集知乎发现话题的信息图9

“点击元素”步骤涉及Ajax下拉加载。

打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“40次”，每次间隔“2秒”，滚动方式为“直接滚动到底部”，最后点击“确定”

使用八爪鱼v7采集知乎发现话题的信息图10

注意，这里的滚动次数、间隔时间，需要针对网站进行设置，可根据相关功能点教程进行学习

步骤4：

创建列表循环

1）移动鼠标，选中页面里的第一条话题链接。

选中后，系统会自动识别页面里的其他相似链接。

在右侧操作提示框中，选择“选中全部”

使用八爪鱼v7采集知乎发现话题的信息图11

2）选择“采集以下链接地址”

使用八爪鱼v7采集知乎发现话题的信息图12

3）再次选中页面里的第一条话题链接，选择“采集该链接的文本”

使用八爪鱼v7采集知乎发现话题的信息图13

4）选择“启动本地采集”

使用八爪鱼v7采集知乎发现话题的信息图14

步骤5：

数据采集及导出

1）采集完成后，会跳出提示，选择“导出数据”。

选择“合适的导出方式”，将采集好的数据导出

使用八爪鱼v7采集知乎发现话题的信息图15

2）这里我们选择excel作为导出为格式，数据导出后如下图

使用八爪鱼v7采集知乎发现话题的信息图16

八爪鱼——70万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：

无需技术背景，会上网就能采集。

完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：

对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。

配置好采集任务后可关机，任务可在云端执行。

庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。

免费版具备所有功能，能够满足用户的基本采集需求。

同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。