课程设计报告.docx

课程设计报告.docx

《课程设计报告.docx》由会员分享，可在线阅读，更多相关《课程设计报告.docx（21页珍藏版）》请在冰点文库上搜索。

课程设计报告

计算机科学与工程学院

课程设计报告

题目全称：

搜索引擎之网络蜘蛛

题目难度等级:

4

指导老师:

职称：

学生姓名:

学号：

班号:

设计过程（30分）

课程设计报告（30分）

课程设计程序（40分）

总分

备注:

如参加答辩，请指导教师只给出设计过程30分，课程设计报告、课程设计程序由答辩老师给出。

如参加答辩，请答辩老师签字：

指导老师评语：

指导教师签字:

搜索引擎之网络蜘蛛

1、设计背景与目的：

随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战.搜索引擎（SearchEngine）,例如传统的通用搜索引擎AltaVista，Yahoo！

和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。

但是,这些通用性搜索引擎也存在着一定的局限性，如：

（1）不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页.

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深.

（3）万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询。

为了解决上述问题,网络爬虫应运而生。

网络蜘蛛（Webspider）也叫网络爬虫（Webcrawler）［1],蚂蚁（ant）,自动检索工具（automaticindexer），或者（在FOAF软件概念中）网络疾走（WEBscutter），是一种“自动化浏览网络”的程序，或者说是一种网络机器人。

它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式.它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理（分检整理下载的页面），而使得用户能更快的检索到他们需要的信息。

2、设计原理:

网络爬虫始于一张被称作种子的统一资源地址（URLs）列表。

当网络爬虫访问这些统一资源定位器时，它们会甄别出页面上所有的超链接，并将它们写入一张＂待访列表＂，即所谓＂爬行疆域＂（crawlfrontier）。

此疆域上的统一资源地址将被按照一套策略循环访问。

如果爬虫在他执行的过程中复制归档和保存网站上的信息,这些档案通常储存,使他们可以被查看。

阅读和浏览他们的网站上实时更新的信息，并保存为网站的“快照”。

大容量的体积意味着网络爬虫只能在给定时间内下载有限数量的网页,所以要优先考虑其下载。

高变化率意味着网页可能已经被更新或者删除。

一些被服务器端软件生成的URLs（统一资源定位符）也使得网络爬虫很难避免检索到重复内容。

基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。

3、设计内容:

通过winsocket编程，读取指定网页信息.然后采用广度优先算法搜索该网页上面的链接地址（搜索深度不超过3），将网页数据的标题和正文内容及网址存储到文件中.

详细功能描述：

使用python3语言编写网络爬虫，建立图形界面，输入目标链接地址以及存储地址以及搜索深度（不超过3）,执行搜索访问，并扩展至该链接上的其他链接，经过简单筛选将正文内容和标题存储在文件中。

支持以及几个操作：

链接框：

输入初始链接

路径框：

输入存储路径

路径选择：

在计算机中选择存储文件（爬下来资料）的放置位置

深度选择:

选择深度在1～3范围内的搜索

执行搜索:

点击后执行爬的操作

停止搜索：

点击后停止爬的操作并返回截止当前的结果

清空按钮：

点击后清空路径、链接、以及状态栏

状态栏：

即时反馈当前搜索的状态

弹框：

当正常结束搜索或点击停止结束搜索时弹出，返回已爬网页数目以及所用总时间

4、设计环境：

操作系统：

windows8。

1

程序设计语言：

Python3。

4

Tkinter（图形界面）

5、设计步骤：

首先，安装Python3并学习基础的使用方法。

使用Python3的原因：

Python是一种面向对象、直译式的计算机程序语言，具有近二十年的发展历史。

它包含了一组功能完备的标准库，能够轻松完成很多常见的任务。

Python为我们提供了非常完善的基础代码库，覆盖了网络、文件、GUI、数据库、文本等大量内容，被形象地称作“内置电池（batteriesincluded）"。

用Python开发，许多功能不必从零编写，直接使用现成的即可。

但有两个缺点：

第一个缺点就是运行速度慢，和C程序相比非常慢,因为Python是解释型语言，你的代码在执行时会一行一行地翻译成CPU能理解的机器码，这个翻译过程非常耗时,所以很慢。

第二个缺点就是代码不能加密。

但是对于课程设计来说本着学习的目的，可以忽略这两个缺点所带来的影响.

接下来,学会基于网络爬虫和python3的宽度优先搜索以及队列简单使用:

伪代码如下：

queueQ队列

setS集合

StartPoint=”

Q。

push（StartPoint）将起点加入队列

S。

insert（StartPoint）将起点加入集合

while（Q。

empty（）==false）当队列非空时

T=Q.top（）获取队首元素并且弹出

forpointinT:

对于元素内的所用url链接point

if（pointnotinS）如果该链接不在集合内（则表示没有访问过）

Q.push（point）将point加入队列

S.insert（point）将point加入集合

当然，在上述伪代码中没有考虑深度的控制，这个非常简单，只需要加几句话就够了。

为了实现上述的伪代码，首先是要实现链接的抓取，这个py3中已经有很好的实现模版了:

#encoding：

UTF-8

#编码方式

importurllib.request

#类似于C++语言中的声明头文件

url=”http：

//

data=urllib。

request.urlopen（url）.read（）

#获取链接

data=data。

decode（'UTF-8’）

＃解码，输出

print（data）

输出如下：

输出中有着大量冗余的代码，而需要仅仅只有标题、文本、和链接.

于是需要使用类似于字符串匹配的功能，还好py3中有着字符串匹配神器：

正则表达式。

花了半天的时间学习了正则表达式的使用以及HTML语言的基本规则。

（因为需要使用正则表达式去筛选基于HTML语言的文本）

书写了基于HTML筛选的简单正则表达式：

抓取标题：

re.findall（r’〈title〉（[\s\S］＊?

）

抓取正文:

re。

findall（r’〉（。

+?

）<’,data）

以及对正文的筛选:

ifre。

match（r’。

＊？

[{｝|&〈>]'，正文内容）：

continue

ifre.match（r’［\S]＊?

’,正文内容）andlen（正文内容）〉1：

print（正文内容,file=f）

抓取链接：

re.findall（r’href=［"\’]（.+?

）［"\’］’,data）

再接下来，抓取其他网页的过程中，发现有些合法的网页会出现解码错误的情况。

查阅资料发现不同的网站有不同的编码，于是选取4种较为常见的编码方式，并用py3的try来实现：

try：

data=data.decode（'utf—8'）

except:

try:

data=data。

decode（’gbk'）

except：

try:

data=data.decode（'gb2312'）

except:

try：

data=data。

decode（'ISO—8859—1’）

except：

#print（END,”Decodeerror！

\n”）

然后，我们需要把抓下来的数据全部写入文件，又花了一定时间学习了py3中文件的简单读写,以及操作文件和目录的基本使用方法。

学习一下几个基本的操作：

importos

获取当前文件位置：

pos=sys。

path[0]

清除某个文件夹的内容：

defdelete_it（pos）：

＃用于清空目录

forroot，dirs，filesinos.walk（pos,topdown=False）：

fornameinfiles:

os.remove（os.path.join（root,name））

fornameindirs:

os.rmdir（os.path.join（root，name））

判断路径是否合法：

os。

path。

exists（pos）

路径相加：

os.path。

join（pos,"dirname"）

标准化路径格式：

os.path。

normpath（pos）

文件输出流的打开与关闭

f=open（pos，’w’，encoding=”utf—8"）

f。

close（）

另一种方法：

withopen（pos，’w'，encoding="utf—8"）asf：

…

现在已经完成了链接的抓取,文件的存储方法，用正则表达式对网页内容进行简单的筛选和分析,那么我们现在再使用宽度优先搜索和队列以及堆（集合）等数据结构和算法来实现整体的功能。

＃—＊-coding：

utf—8-＊—

__author__='acerlawson___Hongji_Li___2013060203010'

__update_time__=’2015—07-1109:

15:

53’

queue=deque（）

#队列

visited=set（）

#集合，用于判断是否已经访问过

url=”http：

//

#设置初始链接

pos=sys。

path[0]

＃设置初始存储位置

depth=3

＃设置深度

useless=［’css’,’png'，'jpg’，’;','gif’，'ico’]

#对爬虫无用的链接后缀,用于筛选对于我们无用的链接，节约时间，避免程序做多了冗余的运算而导致运行时间增加。

cnt=0

＃计数器，用于统计链接的个数

queue.append（（url，depth））

＃加入初始链接到队列

visited｜={url｝

#加入初始链接到集合

whilequeue:

url，depth=queue。

popleft（）

＃弹出队列

try:

data=urllib.request。

urlopen（url，timeout=3）。

read（）

＃尝试获取数据

except:

＃print（'Failed！

'）

#失败或者超时

continue

try:

data=data.decode（’utf-8'）

except：

try：

data=data.decode（’gbk'）

except:

try：

data=data。

decode（’gb2312'）

except：

try：

data=data.decode（’ISO—8859—1’）

except：

#print（END,"Decodeerror！

\n"）

#将解码错误的url放在一起

continue

＃尝试各个常用类型的解码方式

cnt=cnt+1

#计数器+1

withopen（os.path。

normpath（os。

path。

join（pos，str（cnt）+’。

txt'））

’w’,encoding=”utf—8”）asf：

＃打开文件写入数据

print（’抓取第’,cnt,’个：

',url,file=f）

＃记录抓取的序号

forsinre。

findall（r’

）〈/title〉’，data）:

＃在这里我们找出了所有