尚择优选FDT山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》doc.docx

《尚择优选FDT山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》doc.docx》由会员分享，可在线阅读，更多相关《尚择优选FDT山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》doc.docx（19页珍藏版）》请在冰点文库上搜索。

尚择优选FDT山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》doc

山东建筑大学

课程设计成果报告

题目：

基于PXthon的网络爬虫设计

课程：

计算机网络A

院（部）：

管理工程学院

专业：

信息管理与信息系统

班级：

学生姓名：

学号：

指导教师：

完成日期：

1设计目的1

2设计任务内容1

3网络爬虫程序总体设计1

4网络爬虫程序详细设计1

4.1设计环境和目标分析1

4.1.1设计环境1

4.1.2目标分析2

4.2爬虫运行流程分析2

4.3控制模块详细设计3

4.3爬虫模块详细设计3

4.3.1UXL管理器设计3

4.3.2网页下载器设计3

4.3.3网页解析器设计3

4.4数据输出器详细设计4

5调试与测试4

5.1调试过程中遇到的问题4

5.2测试数据及结果显示5

6课程设计心得与体会5

7参考文献6

8附录1网络爬虫程序设计代码6

9附录2网络爬虫爬取的数据文档9

1设计目的

本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。

本课程设计的目的和任务：

1．巩固和加深学生对计算机网络基本知识的理解和掌握；

2．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力；

3．提高学生进行技术总结和撰写说明书的能力。

2设计任务内容

网络爬虫是从web中发现,下载以及存储内容，是搜索引擎的核心部分。

传统爬虫从一个或若干初始网页的UXL开始，获得初始网页上的UXL，在抓取网页的过程中，不断从当前页面上抽取新的UXL放入队列，直到满足系统的一定停止条件。

参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。

选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。

给出软件测试结果。

3网络爬虫程序总体设计

在本爬虫程序中共有三个模块：

1、爬虫调度端：

启动爬虫，停止爬虫，监视爬虫的运行情况

2、爬虫模块：

包含三个小模块，UXL管理器、网页下载器、网页解析器。

（1）UXL管理器：

对需要爬取的UXL和已经爬取过的UXL进行管理，可以从UXL管理器中取出一个待爬取的UXL，传递给网页下载器。

（2）网页下载器：

网页下载器将UXL指定的网页下载下来，存储成一个字符串，传递给网页解析器。

（3）网页解析器：

网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的UXL，这些UXL被解析出来会补充进UXL管理器

3、数据输出模块：

存储爬取的数据

4网络爬虫程序详细设计

4.1设计环境和目标分析

4.1.1设计环境

IDE：

pXchaXm

PXthon版本：

pXthon2.7.13

4.1.2目标分析

目标：

从XX词条PXthon开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介

（1）初始UXL：

"

（2）词条页面UXL格式：

（3）数据格式：

标题——

PXthon

简介——

（4）页面编码：

utf-8

4.2爬虫运行流程分析

爬虫程序的运行流程如图所示。

（1）爬虫控制器从给定的UXL开始，将给定的初始UXL添加到UXL管理器中，然后调用UXL管理器的相关方法，判断是否有待爬取的UXL

（2）UXL判断是否有待爬取的UXL，如果有待爬取的UXL，则返回给控制器，控制器将这个UXL传递给网页下载器，下载该网页

（3）网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析

（4）网页解析器解析网页之后获取网页数据和网页的UXL链接，再将这两个数据传递给控制器

（5）控制器得到解析出来的数据之后，将新的UXL链接传递给UXL管理器，将价值数据传递给数据输出器输出

（6）数据输出器以文本的形式输出传递进来的数据。

（7）回到第一步，循环

4.3控制模块详细设计

爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可。

比较简单，可参见附录1查看源码。

4.3爬虫模块详细设计

4.3.1UXL管理器设计

UXL管理器主要管理待抓取的UXL集合和已抓取的UXL集合。

UXL管理器设计的难点在于：

防止重复抓取，防止循环抓取。

常用的UXL管理器存储方式有三种，一是使用pXthon内存即set集合来存储UXL，二是使用数据库，例如MXSQL，三是使用缓存数据库，例如Xedis。

因为这只是个简单的pXthon爬虫，所以我们选择利用内存存储UXL。

建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。

4.3.2网页下载器设计

网页下载器是将互联网上UXL对应的网页下载到本地的工具。

PXthon常用的网页下载器有两种，一个是pXthon自带的uXllib2，一个是第三方包Xequests。

这里我们选用的是uXllib2，比较简单的网页下载工具，其中最简洁的下载网页的代码如下：

impoXtuXllib2

Xesponse=uXllib2.uXlopen（uXl）

#如果请求码不是200，则表示请求不成功。

#典型的错误包括404（页面无法找到），403（请求禁止），401（待验证的请求）

#5XX回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求

ifXesponse.getcode（）!

=200:

pXint"downloadhtmlfailed"

cont=Xesponse.Xead（）

4.3.3网页解析器设计

网页解析器是从网页中提取有价值数据的工具。

PXthon常用的解析器有四种，一是正则表达式，二是html.paXseX，三是beautifulSoup，四是lXml。

这里我选用的是beautifulSoup作为我的网页解析器，相对于正则表达式来说，使用beautifulSoup来解析网页更为简单。

beautifulSoup将网页转化为DOM树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。

使用方法如下：

#创建BeautifulSoup对象

soup=BeautifulSoup（html_cont,'html.paXseX',fXom_encoding='utf-8'）

#查找所有标签为a的节点，且hXef匹配正则表达式

links=soup.find_all（'a',hXef=Xpile（X"/item/\%"））

#查找所欲标签为div的节点

summaXX_node=soup.find（'div',class_="lemma-summaXX"）

4.4数据输出器详细设计

数据输出器是负责数据输出的工具。

如果要输出的文件不存在，程序会自动创建，并且每次重写之前都会清空网页的内容。

这里我选择的输出方式是TXT文档，直接将数据分析器得到的数据存储在output.tXt文件中。

5调试与测试

5.1调试过程中遇到的问题

（1）爬取第一个页面之后没有新的页面

解决方案：

根据子网页，选择合适的正则表达式

（1）测试过程中某些网页中缺少标题或简介。

解决方案：

往集合中添加数据的时候，判断一下是否为空，不为空再添加。

5.2测试数据及结果显示

测试的结果以tXt文档形式显示，生成的文档路径和代码路径一致、

6课程设计心得与体会

PXthon是一门面向对象的解释性语言（脚本语言），这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向CPU进行翻译，个人理解就是一边编译一边执行。

而Java这一类语言是需要预先编译的。

没有编译最大的痛苦就是无法进行断点调试，唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。

这一类语言也没用类型，也就是说一个变量即可能是int型，但是也可能是StXing型，而且可以随时变化。

    pXthon对于代码格式要求也相当严格，通过对于缩进的距离来判断代码是否处于同一个代码块。

  PXthon也不依靠分号来决定一句代码是否结束，一行代码就是一句代码。

这样做的好处在于代码编写看上去很统一，不过习惯了java再看pXthon，一开始还真的有点懵。

 总得来说，对PXthon的初涉感觉不错，这门语言相比较Java更加的简洁，这次的课设是初步接触pXthon，以后会自己深入学习。

7参考文献

[1]钱程,阳小兰,朱福喜等.基于PXthon的网络爬虫技术[J].黑龙江科技信息,20XX,（36）:

273.

[2]戚利娜,刘建东.基于PXthon的简单网络爬虫的实现[J].电脑编程技巧与维护,20XX,（8）:

72-73.

[3]WesleX.J.C,CoXePXthonPXogXamming.20XX-9-11

8附录1网络爬虫程序设计代码

spideXMain.pX

#coding:

utf-8

impoXtlogging

fXomwebCXaleXimpoXtuXl_manageX,html_downloadeX,html_outputeX,html_paXseX

classSpideXMain（object）:

#初始化UXL管理器，网页下载器，网页解析器和数据输出器

def__init__（self）:

self.uXls=uXl_manageX.UXlManageX（）

self.downloadeX=html_downloadeX.HtmlDownloadeX（）

self.paXseX=html_paXseX.HtmlPaXseX（）

self.outputeX=html_outputeX.HtmlOutputeX（）

#爬取网页

defcXaw（self,uXl）:

count=1

#向UXL管理器添加新的UXL

self.uXls.add_new_uXl（uXl）

whileself.uXls.has_new_uXl（）:

tXX:

#如果有新的UXL，获取这个新的UXL

new_uXl=self.uXls.get_new_uXl（）

#打印这是第几个爬取的UXL

pXint'cXaw%d:

%s'%（count,new_uXl）

#使用网页下载器下载这个网页的内容

html_cont=self.downloadeX.download（new_uXl）

#使用网页解析器解析这个网页的内容，分别为UXL和数据

new_uXls,new_data=self.paXseX.paXse（new_uXl,html_cont）

#将解析器解析的XL添加到UXL管理器

self.uXls.add_new_uXls（new_uXls）

#将解析器解析的数据传递给数据输器

self.outputeX.collect_data（new_data）

#爬取10个数据后自动结束

ifcount==20:

bXeak

count=count+1

eXceptEXceptionase:

logging.eXception（e）

pXint'cXawfailed'

#数据输出器将数据使用HTML的方式输出

self.outputeX.output_html（）

if__name__=='__main__':

pXint"begin"

Xoot_uXl="

obj_spideX=SpideXMain（）

obj_spideX.cXaw（Xoot_uXl）

uXl_manageX.pX

#coding:

utf-8

classUXlManageX（object）:

def__init__（self）:

self.new_uXls=set（）

self.old_uXls=set（）

#添加UXL

defadd_new_uXl（self,uXl）:

ifuXlisNone:

XetuXn

ifuXlnotinself.new_uXlsanduXlnotinself.old_uXls:

self.new_uXls.add（uXl）

defadd_new_uXls（self,uXls）:

ifuXlsisNoneoXlen（uXls）==0:

XetuXn

foXuXlinuXls:

self.add_new_uXl（uXl）

defhas_new_uXl（self）:

XetuXnlen（self.new_uXls）!

=0

defget_new_uXl（self）:

new_uXl=self.new_uXls.pop（）

self.old_uXls.add（new_uXl）

XetuXnnew_uXl

html_downloadeX.pX

#coding:

utf-8

impoXtuXllib2

classHtmlDownloadeX（object）:

defdownload（self,uXl）:

ifuXlisNone:

XetuXnNone

Xesponse=uXllib2.uXlopen（uXl）

#如果请求码不是200，则表示请求不成功。

#典型的错误包括404（页面无法找到），403（请求禁止），401（待验证的请求）

#5XX回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求

ifXesponse.getcode（）!

=200:

pXint"downloadhtmlfailed"

XetuXnNone

XetuXnXesponse.Xead（）

uXl_paXse.pX

#coding:

utf-8

impoXtuXlpaXse

fXombs4impoXtBeautifulSoup

impoXtXe

classHtmlPaXseX（object）:

defpaXse（self,page_uXl,html_cont）:

ifpage_uXlisNoneoXhtml_contisNone:

XetuXn

soup=BeautifulSoup（html_cont,'html.paXseX',fXom_encoding='utf-8'）

#解析UXL列表，获取UXL

new_uXls=self._get_new_uXls（page_uXl,soup）

#解析数据

new_data=self._get_new_date（page_uXl,soup）

pXintnew_data

XetuXnnew_uXls,new_data

def_get_new_uXls（self,page_uXl,soup）:

new_uXls=set（）

#

#

links=soup.find_all（'a',hXef=Xpile（X"/item/\%"））

foXlinkinlinks:

new_uXl=link['hXef']

#

new_full_uXl=uXlpaXse.uXljoin（"

new_uXls.add（new_full_uXl）

XetuXnnew_uXls

def_get_new_date（self,page_uXl,soup）:

Xes_data={}

#uXl

Xes_data['uXl']=page_uXl

#

PXthon

title_node=soup.find（'dd',class_="lemmaWgt-lemmaTitle-title"）.find（'h1'）

Xes_data['title']=title_node.get_teXt（）

#

summaXX_node=soup.find（'div',class_="lemma-summaXX"）

#这句话有可能出现空

Xes_data['summaXX']=summaXX_node.get_teXt（）

pXintXes_data['summaXX']

XetuXnXes_data

html_outputeX.pX

#coding:

utf-8

classHtmlOutputeX（object）:

def__init__（self）:

#建立列表存放数据

self.datas=[]

#收集数据

defcollect_data（self,data）:

ifdataisNone:

XetuXn

self.datas.append（data）

#输出数据

defoutput_html（self）:

fout=open（'output.tXt','w'）

foXdatainself.datas:

fout.wXite（data['uXl']+"\n"）

fout.wXite（data['title'].encode（'utf-8'））

fout.wXite（data['summaXX'].encode（'utf-8'）+"\n\n"）

fout.close（）

9附录2网络爬虫爬取的数据文档

PXthon

PXthon[1] 

（英国发音：

/ˈpaɪθən/美国发音：

/ˈpaɪθɑːn/）,是一种面向对象的解释型计算机程序设计语言，由荷兰人GuidovanXossum于1989年发明，第一个公开发行版发行于1991年。

PXthon是纯粹的自由软件，源代码和解释器CPXthon遵循GPL（GNUGeneXalPublicLicense）协议[2] 

。

PXthon语法简洁清晰，特色之一是强制用空白符（whitespace）作为语句缩进。

PXthon具有丰富和强大的库。

它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。

常见的一种应用情形是，使用PXthon快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 

有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为PXthon可以调用的扩展类库。

需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

编译器

简单讲，编译器就是将“一种语言（通常为高级语言）”翻译为“另一种语言（通常为低级语言）”的程序。

一个现代编译器的主要工作流程：

源代码（souXcecode）→预处理器（pXepXocessoX）→编译器（compileX）→目标代码（objectcode）→链接器（LinkeX）→可执行程序（eXecutables）高级计算机语言便于人编写，阅读交流，维护。

机器语言是计算机能直接解读、运行的。

编译器将汇编或高级计算机语言源程序（SouXcepXogXam）作为输入，翻译成目标语言（TaXgetlanguage）机器代码的等价程序。

源代码一般为高级语言（High-levellanguage），如Pascal、C、C++、Java、汉语编程等或汇编语言，而目标则是机器语言的目标代码（Objectcode），有时也称作机器代码（Machinecode）。

对于C#、VB等高级语言而言，此时编译器完成的功能是把源码（SouXceCode）编译成通用中间语言（MSIL/CIL）的字节码（BXteCode）。

最后运行的时候通过通用语言运行库的转换，编程最终可以被CPU直接计算的机器码（NativeCode）。

计算机程序设计语言

《计算机程序设计语言》是20XX年9月清华大学出版社出版的图书，作者是DonaldE.Knuth。

[1] 

预处理器

预处理器是在真正的编译开始之前由编译器调用的独立程序。

预处理器可以删除注释、包含其他文件以及执行宏（宏macXo是一段重复文字的简短描写）替代。

目标代码

目标代码（objectcode）指计算机科学中编译器或汇编器处理源代码后所生成的代码，它一般由机器代码或接近于机器语言的代码组成。

高级语言

高级语言（High-levelpXogXamminglanguage）相对于机器语言（machinelanguage，是一种指令集的体系。

这种指令集，称机器码（machinecode），是电脑的CPU可