山东建筑大学计算机网络课程设计基于Python的网络爬虫设计.doc

《山东建筑大学计算机网络课程设计基于Python的网络爬虫设计.doc》由会员分享，可在线阅读，更多相关《山东建筑大学计算机网络课程设计基于Python的网络爬虫设计.doc（12页珍藏版）》请在冰点文库上搜索。

山东建筑大学

课程设计成果报告

题目：

基于Python的网络爬虫设计

课程：

计算机网络A

院（部）：

管理工程学院

专业：

信息管理与信息系统

班级：

学生姓名：

学号：

指导教师：

完成日期：

1

目录

1设计目的 1

2设计任务内容 1

3网络爬虫程序总体设计 1

4网络爬虫程序详细设计 1

4.1设计环境和目标分析 1

4.1.1设计环境 1

4.1.2目标分析 2

4.2爬虫运行流程分析 2

4.3控制模块详细设计 3

4.3爬虫模块详细设计 3

4.3.1URL管理器设计 3

4.3.2网页下载器设计 3

4.3.3网页解析器设计 3

4.4数据输出器详细设计 4

5调试与测试 4

5.1调试过程中遇到的问题 4

5.2测试数据及结果显示 5

6课程设计心得与体会 5

7参考文献 6

8附录1网络爬虫程序设计代码 6

9附录2网络爬虫爬取的数据文档 9

9

1设计目的

本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。

本课程设计的目的和任务：

1．巩固和加深学生对计算机网络基本知识的理解和掌握；

2．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力；

3．提高学生进行技术总结和撰写说明书的能力。

2设计任务内容

网络爬虫是从web中发现,下载以及存储内容，是搜索引擎的核心部分。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。

选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。

给出软件测试结果。

3网络爬虫程序总体设计

URL管理器

数据输出器

网页下载器

网页解析器

爬虫控制器

在本爬虫程序中共有三个模块：

1、爬虫调度端：

启动爬虫，停止爬虫，监视爬虫的运行情况

2、爬虫模块：

包含三个小模块，URL管理器、网页下载器、网页解析器。

（1）URL管理器：

对需要爬取的URL和已经爬取过的URL进行管理，可以从URL管理器中取出一个待爬取的URL，传递给网页下载器。

（2）网页下载器：

网页下载器将URL指定的网页下载下来，存储成一个字符串，传递给网页解析器。

（3）网页解析器：

网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的URL，这些URL被解析出来会补充进URL管理器

3、数据输出模块：

存储爬取的数据

4网络爬虫程序详细设计

4.1设计环境和目标分析

4.1.1设计环境

IDE：

pycharm

Python版本：

python2.7.13

4.1.2目标分析

目标：

从百度词条Python开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介

（1）初始URL：

"

（2）词条页面URL格式：

（3）数据格式：

标题——

Python

简介——

（4）页面编码：

utf-8

4.2爬虫运行流程分析

爬虫程序的运行流程如图所示。

（1）爬虫控制器从给定的URL开始，将给定的初始URL添加到URL管理器中，然后调用URL管理器的相关方法，判断是否有待爬取的URL

（2）URL判断是否有待爬取的URL，如果有待爬取的URL，则返回给控制器，控制器将这个URL传递给网页下载器，下载该网页

（3）网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析

（4）网页解析器解析网页之后获取网页数据和网页的URL链接，再将这两个数据传递给控制器

（5）控制器得到解析出来的数据之后，将新的URL链接传递给URL管理器，将价值数据传递给数据输出器输出

（6）数据输出器以文本的形式输出传递进来的数据。

（7）回到第一步，循环

4.3控制模块详细设计

爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可。

比较简单，可参见附录1查看源码。

4.3爬虫模块详细设计

4.3.1URL管理器设计

URL管理器主要管理待抓取的URL集合和已抓取的URL集合。

URL管理器设计的难点在于：

防止重复抓取，防止循环抓取。

判断是否还有待爬取URL

添加新URL到待爬取集合中

获取待爬取URL

URL管理器

将URL从待爬取集合移动端已爬取集合

判断待添加URL是否在容器中

常用的URL管理器存储方式有三种，一是使用python内存即set集合来存储URL，二是使用数据库，例如MySQL，三是使用缓存数据库，例如redis。

因为这只是个简单的python爬虫，所以我们选择利用内存存储URL。

建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。

4.3.2网页下载器设计

网页下载器是将互联网上URL对应的网页下载到本地的工具。

Python常用的网页下载器有两种，一个是python自带的urllib2，一个是第三方包requests。

这里我们选用的是urllib2，比较简单的网页下载工具，其中最简洁的下载网页的代码如下：

importurllib2

response=urllib2.urlopen（url）

#如果请求码不是200，则表示请求不成功。

#典型的错误包括404（页面无法找到），403（请求禁止），401（待验证的请求）

#5XX回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求

ifresponse.getcode（）!

=200:

print"downloadhtmlfailed"

cont=response.read（）

4.3.3网页解析器设计

网页解析器是从网页中提取有价值数据的工具。

价值数据

网页解析器

新URL列表

HTML网页字符串

Python常用的解析器有四种，一是正则表达式，二是html.parser，三是beautifulSoup，四是lxml。

这里我选用的是beautifulSoup作为我的网页解析器，相对于正则表达式来说，使用beautifulSoup来解析网页更为简单。

beautifulSoup将网页转化为DOM树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。

使用方法如下：

#创建BeautifulSoup对象

soup=BeautifulSoup（html_cont,'html.parser',from_encoding='utf-8'）

#查找所有标签为a的节点，且href匹配正则表达式

links=soup.find_all（'a',href=pile（r"/item/\%"））

#查找所欲标签为div的节点

summary_node=soup.find（'div',class_="lemma-summary"）

4.4数据输出器详细设计

数据输出器是负责数据输出的工具。

如果要输出的文件不存在，程序会自动创建，并且每次重写之前都会清空网页的内容。

这里我选择的输出方式是TXT文档，直接将数据分析器得到的数据存储在output.txt文件中。

5调试与测试

5.1调试过程中遇到的问题

（1）爬取第一个页面之后没有新的页面

解决方案：

根据子网页，选择合适的正则表达式

（1）测试过程中某些网页中缺少标题或简介。

解决方案：

往集合中添加数据的时候，判断一下是否为空，不为空再添加。

5.2测试数据及结果显示

测试的结果以txt文档形式显示，生成的文档路径和代码路径一致、

6课程设计心得与体会

Python是一门面向对象的解释性语言（脚本语言），这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向CPU进行翻译，个人理解就是一边编译一边执行。

而Java这一类语言是需要预先编译的。

没有编译最大的痛苦就是无法进行断点调试，唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。

这一类语言也没用类型，也就是说一个变量即可能是int型，但是也可能是String型，而且可以随时变化。

    python对于代码格式要求也相当严格，通过对于缩进的距离来判断代码是否处于同一个代码块。

  Python也不依靠分号来决定一句代码是否结束，一行代码就是一句代码。

这样做的好处在于代码编写看上去很统一，不过习惯了java再看python，一开始还真的有点懵。

  总得来说，对Python的初涉感觉不错，这门语言相比较Java更加的简洁，这次的课设是初步接触python，以后会自己深入学习。

7参考文献

[1]钱程,阳小兰,朱福喜等.基于Python的网络爬虫技术[J].黑龙江科技信息,2016,（36）:

273.

[2]戚利娜,刘建东.基于Python的简单网络爬虫的实现[J].电脑编程技巧与维护,2017,（8）:

72-73.

[3]Wesley.J.C,CorePythonProgramming.2001-9-11

8附录1网络爬虫程序设计代码

spiderMain.py

#coding:

utf-8

importlogging

fromwebCralerimporturl_manager,html_downloader,html_outputer,html_parser

classSpiderMain（object）:

#初始化URL管理器，网页下载器，网页解析器和数据输出器

def__init__（self）:

self.urls=url_manager.UrlManager（）

self.downloader=html_downloader.HtmlDownloader（）

self.parser=html_parser.HtmlParser（）

self.outputer=html_outputer.HtmlOutputer（）

#爬取网页

defcraw（self,url）:

count=1

#向URL管理器添加新的URL

self.urls.add_new_url（url）

whileself.urls.has_new_url（）:

try:

#如果有新的URL，获取这个新的URL

new_url=self.urls.get_new_url（）

#打印这是第几个爬取的URL

print'craw%d:

%s'%（count,new_url）

#使用网页下载器下载这个网页的内容

html_cont=self.downloader.download（new_url）

#使用网页解析器解析这个网页的内容，分别为URL和数据

new_urls,new_data=self.parser.parse（new_url,html_cont）

#将解析器解析的RL添加到URL管理器

self.urls.add_new_urls（new_urls）

#将解析器解析的数据传递给数据输器

self.outputer.collect_data（new_data）

#爬取10个数据后自动结束

ifcount==20:

break

count=count+1

exceptExceptionase:

logging.exception（e）

print'crawfailed'

#数据输出器将数据使用HTML的方式输出

self.outputer.output_html（）

if__name__=='__main__':

print"begin"

root_url="

obj_spider=SpiderMain（）

obj_spider.craw（root_url）

url_manager.py

#coding:

utf-8

classUrlManager（object）:

def__init__（self）:

self.new_urls=set（）

self.old_urls=set（）

#添加URL

defadd_new_url（self,url）:

ifurlisNone:

return

ifurlnotinself.new_urlsandurlnotinself.old_urls:

self.new_urls.add（url）

defadd_new_urls（self,urls）:

ifurlsisNoneorlen（urls）==0:

return

forurlinurls:

self.add_new_url（url）

defhas_new_url（self）:

returnlen（self.new_urls）!

=0

defget_new_url（self）:

new_url=self.new_urls.pop（）

self.old_urls.add（new_url）

returnnew_url

html_downloader.py

#coding:

utf-8

importurllib2

classHtmlDownloader（object）:

defdownload（self,url）:

ifurlisNone:

returnNone

response=urllib2.urlopen（url）

#如果请求码不是200，则表示请求不成功。

#典型的错误包括404（页面无法找到），403（请求禁止），401（待验证的请求）

#5XX回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求

ifresponse.getcode（）!

=200:

print"downloadhtmlfailed"

returnNone

returnresponse.read（）

url_parse.py

#coding:

utf-8

importurlparse

frombs4importBeautifulSoup

importre

classHtmlParser（object）:

defparse（self,page_url,html_cont）:

ifpage_urlisNoneorhtml_contisNone:

return

soup=BeautifulSoup（html_cont,'html.parser',from_encoding='utf-8'）

#解析URL列表，获取URL

new_urls=self._get_new_urls（page_url,soup）

#解析数据

new_data=self._get_new_date（page_url,soup）

printnew_data

returnnew_urls,new_data

def_get_new_urls（self,page_url,soup）:

new_urls=set（）

#

#

links=soup.find_all（'a',href=pile（r"/item/\%"））

forlinkinlinks:

new_url=link['href']

#

new_full_url=urlparse.urljoin（"

new_urls.add（new_full_url）

returnnew_urls

def_get_new_date（self,page_url,soup）:

res_data={}

#url

res_data['url']=page_url

#

Python

title_node=soup.find（'dd',class_="lemmaWgt-lemmaTitle-title"）.find（'h1'）

res_data['title']=title_node.get_text（）

#

summary_node=soup.find（'div',class_="lemma-summary"）

#这句话有可能出现空！

！

！

res_data['summary']=summary_node.get_text（）

printres_data['summary']

returnres_data

html_outputer.py

#coding:

utf-8

classHtmlOutputer（object）:

def__init__（self）:

#建立列表存放数据

self.datas=[]

#收集数据

defcollect_data（self,data）:

ifdataisNone:

return

self.datas.append（data）

#输出数据

defoutput_html（self）:

fout=open（'output.txt','w'）

fordatainself.datas:

fout.write（data['url']+"\n"）

fout.write（data['title'].encode（'utf-8'））

fout.write（data['summary'].encode（'utf-8'）+"\n\n"）

fout.close（）

9附录2网络爬虫爬取的数据文档

Python

Python[1] 

（英国发音：

/ˈpaɪθən/美国发音：

/ˈpaɪθɑːn/）,是一种面向对象的解释型计算机程序设计语言，由荷兰人GuidovanRossum于1989年发明，第一个公开发行版发行于1991年。

Python是纯粹的自由软件，源代码和解释器CPython遵循GPL（GNUGeneralPublicLicense）协议[2] 

。

Python语法简洁清晰，特色之一是强制用空白符（whitespace）作为语句缩进。

Python具有丰富和强大的库。

它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。

常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 

有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。

需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。