搜索引擎相关度算法分析.docx
《搜索引擎相关度算法分析.docx》由会员分享，可在线阅读，更多相关《搜索引擎相关度算法分析.docx（13页珍藏版）》请在冰点文库上搜索。
搜索引擎相关度算法分析
搜索引擎相关度算法分析
相关性，是搜索引擎优化中的重点。
但是对于相关性的搜索引擎工作原理，相信大
部分的SEOER对于都缺乏了解。
作为职业SEO对于搜索引擎算法的研究是必须的，虽然说，我们不可能知道搜索引擎算法的全部。
但是只需要我们主流搜索引擎技术的方向，
你就可以知道搜索引擎时代的脉搏。
相关度排序技术的产生主要是由搜索引擎的特点决定的。
首先，现代搜索引擎能够访问的Web网页数量已经达到上十亿的规模，哪怕用Hu
只是搜索其中很少的一部分内容，基于全文搜索技术的搜索引擎也能返回成千上万的页
面。
即便这些结果网页都是用Hu所需要的，用Hu也没有可能对所有的网页浏览一遍，所以能够将用Hu最感兴趣的结果网页放于前面，势必可以增强搜索引擎用Hu的满意
度。
其次，搜索引擎用Hu自身的检索专业能力通常很有限，在最为普遍的关键词检索
行为中，用Hu—般只是键人几个词语。
例如，Spink等曾对Excite等搜索引擎的近300
位用Hu做过实验调查，发现人均输入的检索词为3.34个。
国内部分学者也有相似的结论，发现90%左右的用Hu输入的中文检索单字为2〜6个，而且2字词居多，约占58%,其次为4字词（约占18%）和3字词（约占14%）。
过少的检索词事实上无法真正表达用Hu的检索需求，而且用Hu通常也不去进行复杂的逻辑构造，只有相当少的用Hu进行布
尔逻辑检索、限制性检索和高级检索等方法，仅有5.24%的检索式中包含有布尔逻辑算
符。
国内的部分学者的研究结果也表明，约40%的用Hu不能正确运用字段检索或二次
检索，80%左右的用Hu不能正确运用高级检索功能，甚至还发现用Hu缺乏动力去学
习复杂的检索技能，多数用Hu都寄希望于搜索引擎能够自动地为他们构造有效的检索式。
由于缺乏过去联机检索中常常具备的检索人员，因此，用Hu实际的检索行为与用Hu理想的检索行为存在事实上的差距，检索结果的不满意也是不奇怪的。
正是由于这个特点，搜索引擎就必须设法将用Hu最想要的网页结果尽可能地放到网页结果的前面，这就是网页相关度排序算法在搜索引擎中为什么非常重要的原因。
现阶段的相关度排序技术主要有以下几种：
一是基于传统信息检索技术的方式，它主要利用关键词本身在文档中的重要程度来对文档与用Hu查询要求的相关度做出测量，如利用网页中关键词出现的频率和位置。
一般而言，检索出的网页文档中含有的查询关键词个数越多，相关性越大，并且此关键词的区分度越高；同时，查询关键词如果出现在诸如标题字段等重要位置上，则比出现在正文的相关度要大。
二是超连分析技术，使用此技术的代表性搜索引擎有Google和Bai。
和前者相比，它以网页被认可的重要程度作为检索结果的相关度排序依据。
从设计思想上看，它更注重第三方对该网页的认可，如具有较大连入网页数的网页才是得到广泛认可的重要网页，而根据关键词位置和频率的传统方法只是一种网页自我认可的形式，缺乏客观性。
最后还有一些其他方式，如由用Hu自由定义排序规则的自定义方式。
北京大学的天网FTP搜索引擎就采用这种排序方式，它可以让用Hu选择诸如时间、大小、稳定性和距离等具体排序指标来对结果网页进行相关度排序。
再如收费排名模式，它作为搜索引擎的一种主要赢利手段，在具有网络门Hu特点的大型搜索引擎中广为使用，但于担心影响搜索结果的客观性，这种方式不是它们的主流排序方式，而仅仅作为一个补充显示在付费搜索栏目中。
相关度排序技术主要依赖于超连分析技术实现。
超连分析技术可以提供多种功能，其中的主要功能就是解决结果网页的相关度排序问题。
它主要是利用网页间存在的各种超连指向，对网页之间的引用关系进行分析，依据网页连人数的多少计算该网页的重要度权值。
一般认为，如果A网页有超连指向B网页，相当于A网页投了B网页一票,
Web
即A认可了B网页的重要性。
深入理解超连分析算法，可以根据连接结构把整个
网页文档集看成一个有向的拓扑图，其中每个网页都构成图中的一个结点，网页之间的
连接就构成了结点间的有向边，按照这个思想，可以根据每个结点的出度和入度来评价网页的重要性。
对于超连分析技术，有代表性的算法主要是Page等设计的PageRank算法和
Kleinberg创造的HITS算法。
其中，PageRank算法在实际使用中的效果要好于HITS算
法，这主要是由于以下原因：
首先，PageRank算法可以一次性、脱机且独立于查询的对网页进行预计算以得到网页重要度的估计值，然后在具体的用Hu查询中，结合其他查询指标值，一起对查询结果进行相关性排序，从而节省了系统查询时的运算开销；其次，PageRank算法是利用整个网页集合进行计算的，不像HITS算法易受到局部连接陷
阱的影响而产生“主题漂移”现象，所以现在这种技术广泛地应用在许多搜索引擎系统中，Google搜索引擎的广获成功也表明了以超连分析为特征的网页相关度排序算法日益成熟。
PageRank技术基于一种假设，即对于Web中的一个网页A，如果存在指向网页A的连接，则可以将A看成是一个重要的网页。
PageRank认为网页的连入连接数可以反
映网页的重要程度，但是由于现实中的人们在设计网页的各种超连时往往并不严格，有很多网页的超连纯粹是为了诸如网站导航、商业广告等目的而制作，显然这类网页对于它所指向网页的重要程度贡献程度并不高。
但是，由于算法的复杂性，PageRank没有
过多考虑网页超连内容对网页重要度的影响，只是使用了两个相对简单的方法:
其一，
如果一个网页的连出网页数太多，则它对每个连出网页重要度的认可能力降低；其二，如果一个网页由于本身连入网页数很低造成它的重要程度降低，则它对连出网页重要度的影响也相应降低。
所以，在实际计算中，网页A的重要性权值正比于连入网页A的重要性权值，并且和连入网页A的连出网页数量呈反比。
由于无法知道网页A自身的重要性权值，所以决定每个网页的重要权值需要反复迭代地进行运算才能得到。
也就是
说，一个网页的重要性决定着同时也依赖于其他网页的重要性.
【补充材料：
搜索引擎的相关排序算法分析与优化】
WWW是一个巨大的潜在的知识库,它所拥有的web页已经从最初的几千个发展到至今的20多亿个（已被编入索引）.随着网络规模的爆炸性增长,搜索引擎已经成了帮助人们寻找相关信息的重要工具.据纽约市场研究机构朱比特通信公司的调查分析,88%的网
上用户使用搜索工具,成为除Email之外使用最多的互联网应用之一.但是由于Web数据本身具有分布、异质、动态、半结构或非结构等特征,这无疑给Web上的信息检索提出
了挑战[1].目前的搜索引擎普遍存在着查全率和查准率不高的现象,任何一个简单的查询
都至少返回数以万计的检索结果,而其中只有很少一部分与用户真正的检索要求有关.同
时,由于搜索引擎数据量巨大,而用户的接受能力有限,查全率对搜索引擎来说基本失去了评价的意义.而前X个检索结果的查准率对于用户的检索目标更具意义[1].影响查准率的
因素有很多,相关排序算法是其中的一个关键点。
1、相关排序的概念和存在的问题。
传统上,人们将信息检索系统返回结果的排序称为“相关排序”（RelevanceRanking）,
隐含其中各条目的顺序反映了结果和查询的相关程度.在搜索引擎中,其排序不是一个狭
义的相关序,而是一种反映多种因素的综合统计优先序.在排序方面,搜索引擎目前存在的
问题:
（1）对于多数检索课题,要么输出的检索结果过载,记录数量达千条以上,给相关性判断带来困难;要么是零输出或输出量太少,造成过分的漏检.
（2）在相关度方面,搜索引擎对相关度参数的选择、计量和算法各不相同.（3）由于搜索引擎是按照已定的相关度对检索
结果进行排序,关键词检索返回结果的相关度排序方式单一,用户不能根据需要选择输入
的排序方法,用户对结果的排序无能为力,因而用户基本上是在被动接受返回序列,这难免
与用户的检索目标冲突,受到用户接受能力的限制,无疑会影响到检全率与检准率。
2、现有的排序算法。
现有的搜索引擎排序技术主要有PageRank算法和HITS算法PageRank算法以“随机冲浪”模型为理论基础，而HITS算法使用Hub和Authority相互加强模型,二者都是利用了网页和超链组成的有向图,根据相互连接的关系进行递归运算.
2.1PageRank算法。
LawrencePage和SergeyBrin描述了PageRank最初的算法，网页A页的PageRank值
PR（A）=（1-d）+d（PR（T1）nC（T1）+…+PR（Tn）nC（Tn））,其中d为阻尼系数，且0网页的PageRank值决定了随机访问到这个页面的概率•用户点击页面内的链接概率,
完全由页面上链接数量的多少决定的，这也是上面PR（Ti）nC（Ti）的原因•因此，一个页面
通过随机冲浪到达的概率就是链入它的页面上的链接被点击概率的和,且阻尼系数的减
低了这个概率•阻尼系数的引入,是因为用户不可能无限的点击链接,常常因无聊而随机跳入另一个页面•
由此可见,PageRank并不是将整个网站排等级,而是以单个页面计算的•页面A的
面PR（A）的•在PageRank的计算公式里,T对于A的影响还受T的出站链接数C（T）的影
响.这就是说,T的出站链接越多,A受T的这个连接的影响就越少PR（A）是所有PR（Ti）之和.所以，对于A来说，每多增加一个入站链接都会增加PR（A）.所有PR（Ti）之和乘以一个阻
尼系数的，它的值在0到1之间•因此，阻尼系数的使用，减少了其它页面对当前页面A的排
序贡献•另外,PageRank算法中对于向外链接的权值贡献是平均的，也就是不考虑不同链
接的重要性•斯坦福大学计算机科学系Arvin的Arasu等科学家经过试验表明,PageRank算法计算效率还可以得到很大的提高
2.2HITS算法。
HITS（Hyperlink-ln的uce的TopicSearch）算法是利用HubnAuthority的搜索方法具体算法如下：
将查询q提交给传统的基于关键字匹配的搜索引擎•搜索引擎返回很多网页，
从中取前n个网页作为根集（RootSet）,用S表示.S满足如下3个条件:
S中网页数量相对较小;S中网页大多数是与查询q相关的网页;S中网页包含较多的权威网页•通过向S中
加入被S引用的网页和引用S的网页，将S扩展成一个更大的集合T.以T中的Hub网页为顶点集V1,以权威网页为顶点集V2.V1中的网页到V2中的网页的超链接为边集E,形
成一个二分有向图•对V1中的任一个顶点v,用h（v）表示网页v的Hub值，且h（v）收敛;对V2中的顶点u,用a（u）表示网页的Authority值.开始时h（v）=a（u）=1,对u执行I操作修改它的a（u）,对v执行O操作，修改它的h（v）,然后规范化a（u）nh（v）,如此不断的重复计算下面的I操作和0操作，直到a（u）.其中I操作:
a（u）=刀h（v）;O操作:
h（v）=刀a（u）.
每次迭代对a（u）、h（v）进行规范化处理:
a（u）=a（u）n刀[a（q）]2;h（v）=h（v）n刀
[h（q）]2.HITS算法可以获得比较好的查全率，输出一组具有较大Hub值的网页和具有较大权威值的网页•但在实际应用中,HITS算法有以下几个问题：
由S生成T的时间开销是很昂贵的，由T生成有向图也很耗时，需要分别计算网页的AnH值，计算量大;网页中广告等无关链接影响A、H值的计算,降低HITS算法的精度;HITS算法只计算主特征向量,处理不好主题漂移问题;进行窄主题查询时,可能产生主题泛化问题.
相关分析算法大体可以分为4类:
基于随机漫游模型的算法,比如PageRank,Repution算法;基于Hub和Authority相互加强模型的算法，如HITS及其变种;基于概率模型的算法,如SALSA,PHITS;基于贝叶斯模型的算法,如贝叶斯算法.所有的算法在实际应用中都结合传统的内容分析技术进行优化[3].AllanBoro的in也指出没有一种算法是完美的,在某些查询下,结果可能很好,在另外的查询下,结果可能很差。
3、排序算法的优化。
要提高现有算法的精度,首先,必须增强根集的质量,算法再好,也无法在低质量网页集找出很多高质量的网页;其次,降低噪音链接;最后,选择合适的查询分类.为此,笔者提出了一个考虑综合因素的相关排序实现方案.
3.1重组网页中特征项的权重。
考虑到HTML的标签的功能不同,将其分为功能类和附加类,对其分配不同的权重表,设标签权重WBT（T,P）=刀WBT（i）XLG（SMAXnS（P））XLG（NnT（t））,其中:
SMAX表示最大网页可索引文本大小；S（P）代表网页P的可索引文本大小；N代表被索引网页的数量;T（t）代表包含特征项的网页数量.可以看出该方案综合考虑了标签权重、网页大小和特征项的频度.
3.2利用改进的PageRank算法分配链接结构。
PageRank因子的优化可从下面3个方面着手：
设置导入链接PageRank得分;最大回馈和最小损耗的PageRank值的网页做导出链接;修正内部导航结构和内部页面的链接PageRank值，实现PageRank在网站内部的良好分布•设链接值nkiR（u）=C刀R（v）nN（v）{v
€B（u）}.其中:
u表示一个网页；R（u）表示网页u的PageRank值;B（u）表示链接到网页u的
网页集合，即网页u的链入网页集合；N（v）表示从网页v向外的链接数量，即网页v的链出网页数;C为规范化因子，用于保证所有网页的PageRank总和为常量.
3.3利用锚文本技术修正其权值。
锚文本就是链接文本,它既可以做为锚文本所在页面的内容评估,又能做为对所指向
页面的评估,锚文本有很高的精度,对链接和目标网页的描述比较精确.可以利用相似度函数来计算锚文本和特征项,链接的相似度函数表达式：
Slinks=W的xS的es+Wax
Sanc+WsxSsqI其中:
W的、Wa、Ws是权值;S的es是公共子孙计算的相似度;Sanc是共同祖先计算的相似度;Ssql是最短路径长度计算的相似度.
3.4收集用户的信息。
在搜索引擎中,若用户给出一个查询并得到一个返回结果列表之后,大多数的情况之
下,会点击前几个页面,可以判断其关心的主题范围,将主题和点击次数结合起来,就可以作为相关排序的一个重要权值.若WUH（p,q）>m,则其为1,负责为0,所以WUH（p,q）=刀KixWUHi（p,q）.其中K为衰减系数;q为查询;p为网页的点击次数.
3.5综合计算。
页面文档综合权重公式:
W（P,Q）=K1xWBT（T,P）+K2xR（u）+K3xSlinks+K4xWUH（p,q）,其中K1+K2+K3+K4=1.此方法的优点是它不需要象以往的算法一样模拟Web站点的拓扑结构，使用聚类，计算Web页面的等级和Web页面之间的关联度，它只是采用了一些统计,性能有所提高.此算法与用户检索信息相关联,具有更好的针对性和个性化.
缺点是结果直接受样本集的质量影响,并且样本分类的个数、模式提取的阈值等一些参数不能自动生成,需要指定
4、结语。
随着WWW的不断发展以及Web页数量的级数级增长,网上检索信息变得越来越困难.如质量不能精确的定义,链接是否包含重要的信息也没有有效的方法准确的判定,分析锚
文本又涉及到语义问题,查询的分类也没有明确界限.如果欲使算法要取得更好的效果,需要继续做深入的研究。
走到茶几边，我认出了外婆的杯子，但是哪一个才是妈妈的杯子呢？
突然之间，我觉得，自己真得太不了解父母了。
当妈妈为我倒水时，我却不知她的杯子是什么样的；当妈妈为我夹我喜欢吃的菜时，我却没想过他们是爱吃淡一点，还是浓一点。
。
。
。
。
。
2009年到了，意味着过去一年的逝去和新的一年的到来。
妈妈为我操劳了一整年，仔细想想，现在的我也应该为她做一点点事了。
于是，我决定先将茶沏好再找杯子。
学着爸爸平时沏茶的顺序，我先从茶柜里找出了一罐普洱茶，再往烧水的壶里加入水放在电茶炉上烧，接着，我将爸爸已经掰好的普洱茶片拿了两片放在盖碗里，等了一会，水开了，我小心地将水注入盖碗，将盖盖上，把盖碗里第一遍的茶水滤掉，然后再次注水，盖上盖，焖一会才两手并用地将茶水倒入茶海里，因为第一次自己动手，盖碗的烫手是我所没想到的，手忙脚乱的我弄得茶几上一片片的水渍。
重复几次这样的程序后，我先帮外婆倒了一杯茶，因为外婆特别喜欢喝茶。
当外婆从厨房走出来的时候我已经把茶都给倒好了，这时，外婆才告诉我哪一个是妈妈的杯子。
妈妈起床了，我双手捧着水杯送到她的面前，就像捧着一颗温热的心。
妈妈一愣，随即脸上露出了微笑，她一手接过水杯，伸出另一只手将我拉进了她的怀里，那手轻轻柔柔地在我的头上抚摸着，接着妈妈在我的脸上深深地亲了一口。
虽然妈妈经常亲我，但这一刻的亲吻却最让我感到幸福。
我抬起头对妈妈说：
“妈
妈快喝吧，要不茶要凉了。
”妈妈仰起了脖子，张着嘴巴，姑咚，咕咚”地喝了
几大口。
看她那甜蜜蜜的样子，仿佛微苦的普洱茶也是蜜一般甜。
我记得在我小学的时侯，就读过一首曹值的七步诗：
“煮豆持作梗，辘毂以为汁；秸在釜下燃，豆在釜中泣；本是同根生，相煎何太急”。
那时只知其大意，只知道曹操的长子曹丕继位，他在一些奸臣的影响下，担心他的同胞弟弟曹值篡位，便逼迫曹值在七步之内作出一首诗来，否则处死；结果他的弟弟就在七步之内写出了流传至今的“七步诗”。
当时这首诗对曹丕也是一种极大的潮讽。
几个世纪过去了，社会和生活都发生了极大的变化；应该说人的素质也应有所提高；一个人生活在世上，是离不开亲情、友情和爱情的；有人说：
打架亲兄弟，上阵父子兵，但是，兄弟姐妹的团结并不是真对与他人打架斗殴，在生活上，
事业上应是不可或缺的照应；俗话说“一根筷子容易断，十双筷子断就难”；可
见，团结是一种力量，只有团结才有攻不破的堡垒。
然而，就在生活优越的今天，兄弟姐妹往往因为一点小事，一点利益而你争我斗，反目成仇，甚而相残；我和我的朋友在聊天时有时聊及这个问题，有人这样评论：
一个人生活在世上，如果不顾亲情，对兄弟姐妹甚至父母于不顾，那他在这个社会上和任何人都不要谈“情”字，特别是友情。
树大分枝，各自成立家庭后，在生活中一些小事是难免发生的，但要看你怎样去对待，把金钱和利益看的太重，那麽，你就会值亲情于不顾；看淡名利，注重亲情才是做人的底线；争则不足，让则有余，在利益和金钱面前，我们何不礼让一点，做一个有道德、有素质、有亲情的人呢？
家和万事兴，团结是一种力量，让我们团结友爱，和睦共处，为个人的事业、为家庭的生活、为国家的兴盛而看重亲情、友情、爱情；把金钱和利益看淡一些吧！
人过留名，雁去留声，希望在几十年之后，当你离开这个世界的时侯，留给后人的不是唾泣，而是美愉。
今天是她父亲的生日,她要回家和父亲一起过生日.我很理解她的想法,更理解她的思念之情.是的,她父亲已经六十多岁了,为了子女的成长与幸福,含辛茹苦,真的的不容易.话说过来,人一辈子真的很不容易.人年老时非常希望能够和子女在一起,即使不能在一起,哪怕一个电话甚至一个短信,父母也已经很知足了.我由于长期在外,很想念爸爸妈妈.想起过去,心里真的很辛酸,父母亲为了我们的成长真的付出了很多,然而他们现在又生活得怎么样呢?
想起过去的一幕一幕,我心里很难受!
我很希望做做子女的我们,踏踏实实地做好每一件事情,不让父母担忧,这是最基本的我们应当做的事情.
谈到这里我不由自主地想起一部电影《我的兄弟姐妹》,这是一部关于亲情的影片,暂且不管故事的真实性,主要考究它的内涵.主人公齐思甜和哥哥齐忆苦、妹妹奇妙、弟弟齐天生活在一个不富裕却充满温馨和爱的家。
然而在一个暴风雪的夜晚，他们的母亲旧病复发，咳得吐血了。
父亲背她去医院，却出了意外，他们俩都亡故了。
次日，另一家人搬进了四个孩子的家。
性格刚强的哥哥无法忍受这个新家庭的种种，无奈地带着弟弟妹妹离开了家。
他们开始四处奔波，寻找落脚之处。
当实在没有能力照顾弟弟妹妹的时候，他把妹妹齐思甜送给一对正要出国的夫妇；把弟弟送给他的舅妈一家；又把小妹妹带到一对老人家中请他们收养。
他自己和弟弟妹妹们便各奔东西……20年后，齐忆苦在北京当上了出租车
司机；齐思甜出国受到良好的教育，成了音乐家；齐天成为东北大学学生；齐妙却当上了舞厅小姐。
在北京的音乐会上，思甜蓦然回首的瞬间，音乐霎时凝固了。
他们四人拥抱在一起，泪水顺着另一支悠扬的乐曲落下，听众的掌声久久不
息……终于，他们有了一次永久的重逢。
齐思甜的父亲是一个音乐教师，他们一家人都生活在音乐的天堂里，这也为后来思甜成为音乐家打好了基础。
父亲说：
“人生路上有许多困难的事情，只要有音乐在，你的灵魂便不再寂寞。
”这位父亲是伟大的，他乐观开朗，以身作则。
尽管他和蔼可亲，但同时又是一个严厉的父亲。
有一回，齐忆苦偷邻居家的鸡蛋，是为了满足妹妹小小的心愿。
而他却因此挨了父亲的鞭子，还罚他站在雪地里很久。
在父亲被分配到别的地方边劳动边教音乐时，他对这“莫须有的罪名”并没有悲愤倒下，而是瞒着家人当搬运工挨家挨户送木材，还干各种各样的粗活。
他也没有一丝怨言，还对孩子说：
“我没事。
”懂事的孩子们也拿起了工具，帮父亲干活。
他哼着小调，阳光幸福地洒在他们脸上。
可见,这位父亲是多么伟大，他以他的行动告诉了孩子们音乐的重要性及如何面对生活的苦难。
那么，又是一种什么样的力量，使后来的四个孩子重逢，使他们欢聚，使他们接受心灵的洗礼？
毋庸置疑，是亲情。
寒冷的冬天，四个孩子依偎在车站。
他们在为下一餐饭而担心着。
“哥，我饿。
”、“哥，我冷。
”、“哥，我想回家……”弟妹们的话刺痛了哥哥。
他说：
“只
要我还有一口气，就不让你们受委屈。
”事实上他也这么做了。
如果不是亲情，他又何必活得如此累呢？
他又怎能忘记，那一晚，父母临走时对他的嘱咐：
“你是哥哥，要照顾好弟弟妹妹。
、
生活改变了许多人和事，也改变了他们。
但是，亲情是始终不渝的
最小的妹妹齐妙长大后竟成了舞厅小姐！
她离开原来的家后，养父母去世得早，加上无人看管，就开始堕落下去了。
她在20年后与齐思甜相遇时，大言不惭地对她说她满足于当前腐朽昏暗的生活方式。
但是自那以后，她回忆起以前的一点一滴，又不免伤感和懊悔。
她发现自己对不起所有爱她的人，她的良心受到了谴责。
于是，亲情的归来使她的精神方面的巨人复活了！
她的灵魂才得以解放。
亲情给人以新生，亲情又犹如一支镇心剂。
亲情是心中的太阳，照耀着我们；亲情是温柔的春风，抚摸着我们；亲情如绵绵的春雨，滋润着我们。
亲情是雪，晶莹剔透；亲情也可以是雷，惊天撼地。
亲情可以是灯
升级会员 