seo代码优化第四课.docx
《seo代码优化第四课.docx》由会员分享，可在线阅读，更多相关《seo代码优化第四课.docx（14页珍藏版）》请在冰点文库上搜索。
seo代码优化第四课
研究搜索引擎剖析搜索引擎算法
（1）通用搜索引擎
对所有网页和文件进行收录整理并提供搜索服务，又可以分为两类，一类以Google为代表，几乎完全是由程序自动控制整个流程，人为的干预很少，效率比较高，比较公平，但缺点是由于程序的信息处理能力的局限性，对于网页内容的分类不够准确，有可能给用户提供实际并不需要的页面链接；另一种以Yahoo为代表，依靠人工建立庞大细致的分类体系，方便用户找到自己最需要的页面，这样可以最大限度保证分类的准确性，但是互联网上的信息量正以前所未有的速度增长，人工分类的效率相比之下就过于低下了，不能满足“查全”的要求。
（2）专业搜索引擎
针对某一特定领域或特定文件类型进行收录整理并提供搜索服务。
例如CiteSeer，就是典型的专业搜索引擎。
其他的如中国北大天网FTP搜索引擎，专门针对FTP目录下的文件进行搜索；最近随着博客（网络日志）兴起而兴起的博客搜索引擎，由于博客的分类机制比较稳定，而且博客的世界里常常关心的是最新的最有意思的一些新闻，因此未来很可能有大的发展；音乐搜索引擎、电影搜索引擎，针对特定的音频、视频文件格式提供搜索；等等。
（3）元搜索引擎
元搜索引擎是基于通用Web搜索引擎GSE框架建立的一种搜索机制。
GSE框架结构主要由用户、Web服务器、Web信息获取与处理接口、任务调度器、连接管理器Web及搜索引擎组成。
用户只需递交一次检索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将所有查询结果集中起来以整体统一的格式呈现到用户面前。
通用Web搜索引擎框架将因特网上众多的现有的Web搜索引擎看成一个整体，为用户提供一个透明的分布式异构Web搜索引擎环境，该种方式的引擎可以看作元搜索引擎，它为用户提供一个统一的、集成的查询请求，元搜索引擎根据知识库中的信息转换为各个Web搜索引擎所能识别的格式，然后发给各个搜索引擎，由这些搜索引擎完成实际的信息检索。
元检索引擎在搜索到各个Web搜索引擎系统返回的结果后，经过比较分析，然后以一定的格式返回用户。
3、搜索引擎目前主要存在的问题
现在的搜索引擎可谓“百花齐放”，Google、Yahoo、XX、天网等搜索引擎激烈竞争，连之前很少涉及搜索引擎领域的微软也按捺不住，推出了MSN搜索引擎。
但是仍然有许多问题：
（1）网络信息量太大，而且处于不断的更新当中，难以进行全面的收录，而且收录得越多，全面的更新越困难。
（2）对于搜索引擎使用者的真正需求，程序并不能准确判断。
同样的关键词，不同的人可能需要查找的内容不一样。
要在返回查找结果的过程中，将所有结果按重要程度从高到低的顺序组织起来呈现给用户，排序算法是十分关键的。
目前许多搜索引擎都使用基于关键字查询的传统的信息检索算法和技术，返回的页面数量仍然是成千上万。
然而“据估计近85%的用户只浏览搜索引擎返回的第一页结果”因此，如何将用户最感兴趣、最重要的页面放在搜索结果的前面就成为影响搜索质量的一个重要因素。
（3）现在越来越多的人为了能够在搜索引擎返回的结果中排位靠前，特别针对搜索引擎的算法进行一定的优化，如在网页中大量添加热门搜索词汇等，影响搜索引擎的正确判断，使得用户得到许多毫无用处的结果。
（4）分词技术不完善，对中文的检索结果很多不能与用户期望的很好匹配。
4、几种排序算法简介
（1）HITS算法
它是由康奈尔大学（CornellUniversity）的JonKleinberg博士于1998年首先提出的，HITS的英文全称为Hypertext-InducedTopicSearch。
目前，它为IBM公司阿尔马登研究中心（IBMAlmadenResearchCenter）的名为“CLEVER”的研究项目中的一部分。
Kleinberg认为搜索开始于用户的检索提问，每个页面的重要性也依赖于用户的检索提问，他将用户检索提问分为三种:
特指主题检索提问（specificqueries，也称窄主题检索提问）、泛指主题检索提问（Broad-topicqueries，也称宽主题检索提问）及相似网页检索提问（Similar-pagequeries）。
而HITS算法则专注于改善泛指主题检索的结果。
Kleinberg将网页（或网站）分为两类，即hubs和authorities。
应该注意的是，每个页面也有两个级别（ranking），即hubs（中心级别）和authorities（权威级别），authorities为具有较高价值的网页，依赖于指向它的页面，而hubs为指向较多authorities的网页，依赖于它所指向的页面。
HITS算法的目标就是通过一定的计算（迭代计算）方法以得到针对某个检索提问的最具价值的网页，即排名最高的authority。
（2）PageRank算法
虽然Web页面的重要性取决于人的兴趣、知识、意见等主观判断，但仍有一些与页面重要性相关的客观准则可供利用。
PageRank算法的基本思想是:
如果一个页面被许多其他页面引用，则这个页面很可能是重要页面；一个页面尽管没有被多次引用，但被一个重要页面引用，那么这个页面很可能也是重要页面；一个页面的重要性被均分并传递到它所引用的页面。
页面的重要性用PageRank度量。
最后搜索引擎按照页面的PageRank值对搜索结果进行排序，将PageRank值高的重要页面放在前面。
5、中文分词、相似度判别
（1）中文分词
众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。
例如，英文句子Iamastudent，用中文则为：
“我是一个学生”。
计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白「学」、「生」两个字合起来才表示一个词。
把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。
我是一个学生，分词的结果是：
我/是/一个/学生。
中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。
中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？
其处理过程就是分词算法。
现有的分词算法可分为三大类：
基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
基于字符串匹配的分词方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个「充分大的」机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。
按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。
常用的几种机械分词方法有正向最大匹配法（由左到右的方向）、逆向最大匹配法（由右到左的方向）、最少切分（使每一句中切出的词数最小）。
还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。
由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少使用。
一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。
统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。
但这种精度还远远不能满足实际的需要。
实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。
一种方法是改进扫描方式，称为特征扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率。
另一种方法是将分词和词类标注结合起来，利用丰富的词类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而极大地提高切分的准确率。
对于机械分词方法，可以建立一个一般的模型。
基于理解的分词方法通过让计算机模拟人对句子的理解，达到识别词的效果。
其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。
它通常包括三个部分：
分词子系统、句法语义子系统、总控部分。
在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。
这种分词方法需要使用大量的语言知识和信息。
由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还处在试验阶段。
基于统计的分词方法认为从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。
因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。
可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。
定义两个字的互现信息，计算两个汉字X、Y的相邻共现概率。
互现信息体现了汉字之间结合关系的紧密程度。
当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。
这种方法只需对语料中的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方法。
但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如「这一」、「之一」、「有的」、「我的」、「许多的」等，并且对常用词的识别精度差，时空开销大。
实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。
到底哪种分词算法的准确度更高，目前并无定论。
对于任何一个成熟的分词系统来说，不可能单独依靠某一种算法来实现，都需要综合不同的算法。
笔者了解，海量科技的分词算法就采用「复方分词法」，所谓复方，相当于用中药中的复方概念，即用不同的药才综合起来去医治疾病，同样，对于中文词的识别，需要多种算法来处理不同的问题。
分词中的难题。
有了成熟的分词算法，是否就能容易的解决中文分词的问题呢？
事实远非如此。
中文是一种十分复杂的语言，让计算机理解中文语言更是困难。
在中文分词过程中，有两大难题一直没有完全突破。
歧义识别。
歧义是指同样的一句话，可能有两种或者更多的切分方法。
例如：
表面的，因为「表面」和「面的」都是词，那么这个短语就可以分成「表面的」和「表面的」。
这种称为交叉歧义。
像这种交叉歧义十分常见，前面举的「和服」的例子，其实就是因为交叉歧义引起的错误。
「化妆和服装」可以分成「化妆和服装」或者「化妆和服装」。
由于没有人的知识去理解，计算机很难知道到底哪个方案正确。
交叉歧义相对组合歧义来说是还算比较容易处理，组合歧义就必需根据整个句子来判断了。
例如，在句子「这个门把手坏了」中，「把手」是个词，但在句子「请把手拿开」中，「把手」就不是一个词；在句子「将军任命了一名中将」中，「中将」是个词，但在句子「产量三年中将增长两倍」中，「中将」就不再是词。
这些词计算机又如何去识别?
如果交叉歧义和组合歧义计算机都能解决的话，在歧义中还有一个难题，是真歧义。
真歧义意思是给出一句话，由人去判断也不知道哪个应该是词，哪个应该不是词。
例如：
「乒乓球拍卖完了」，可以切分成「乒乓球拍卖完了」、也可切分成「乒乓球拍卖完了」，如果没有上下文其他的句子，恐怕谁也不知道「拍卖」在这里算不算一个词。
新词识别
新词，专业术语称为未登录词。
也就是那些在字典中都没有收录过，但又确实能称为词的那些词。
最典型的是人名，人可以很容易理解句子「王军虎去广州了」中，「王军虎」是个词，因为是一个人的名字，但要是让计算机去识别就困难了。
如果把「王军虎」做为一个词收录到字典中去，全世界有那么多名字，而且每时每刻都有新增的人名，收录这些人名本身就是一项巨大的工程。
即使这项工作可以完成，还是会存在问题，例如：
在句子「王军虎头虎脑的」中，「王军虎」还能不能算词？
新词中除了人名以外，还有机构名、地名、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词，因此对于搜索引擎来说，分词系统中的新词识别十分重要。
目前新词识别准确率已经成为评价一个分词系统好坏的重要标志之一。
（2）相似度判断
当前比较成功的搜索引擎系统大多是基于关键词匹配来完成用户的检索请求的。
典型的系统包括Stanford大学研制的Google系统以及北大的“天网”系统。
通常这类系统在对已抓取回来的网页进行分析时，要提取网页中出现的关键词和摘要信息，并以关键词作为网页的特征项。
如果我们令来表示网页的集合，表示特征项集，它由网页集中的所有或部分特征项组成，网页用特征项空间中的向量表示，其中：
表示特征项在网页中的权值，表示特征项在网页中出现的频率，称为项频，则表示网页集P中出现了特征项的网页数目的倒数，称为反向网页频率。
在很多的文档自动分类系统中，任意两个网页和的相似度通常用其对应向量和的夹角余弦值来定义（如公式2所示），向量夹角越小（即夹角余弦值越大）表明其相似度越高。
影响pagerank分数的因素依次是“相关关键词”、“域名”、“外链”、“用户数据”、“内容质量”以及“人工干预”六个方面。
那么又是哪些因素影响到了这几个方面呢？
一、关键词分数
1.网页title中关键词的处理
2.H标签（h1-h6）中关键词的处理
3.文本内容中关键词的密度
4.外链中关键词的选择
5.域名中的关键词
二、域名权重
1.域名注册前的历史问题
2.域名注册时间的长短
3.外链网站的权重
4.外链、给出链接的相关度
5.是否使用历史、链接形式
三、外链分数
1.链接域名权重
2.是否锚文本
3.链接数量/链接权重（PR或其他参数）
4.外链网页的主题相关度
5.链接的时间
四、用户数据
1.搜索引擎结果页面（SERPs）的点击率
2.用户在网页上呆的时间
3.域名或URL搜索量
4.访问量及其他*可以监测到的数据（工具条、GA等）
五、内容质量分数
1.内容的相关度
2.内容的原创性
3.内容的独特性
4.内容的抢先性和长效性
六、人工干预
1.*投票人员干预
2.关键词人工加（扣）分
3.机器算法干预
Seo
SEO作为网站建设中的重要领域，一直以来都是广大站长们关注的焦点。
因此，网站优化类工具备受站长关注，也有众多XX统计的用户建议XX统计能提供此类功能，从而帮助网站指出问题、提升用户体验，提升来自XX搜索引擎的流量，这也是我们推出“SEO建议”功能的初衷。
XX统计推出的“SEO建议”这一功能，是XX继去年发布《搜索引擎优化指南》白皮书后，目前为止唯一一个由XX官方推出的SEO指南性功能产品。
“SEO建议”这一功能背后的数据算法直接来自XX独有的最核心的检索数据库，由XX统计整合后推出，将为广大站长们提供360度的网站SEO问题检查和优化建议。
这是XX统计推动国内互联网产业发展，帮助中小网站成长的又一项重要举措。
一、XX统计的SEO具有如下4大独特优势：
1、权威
唯一一个由XX官方推出的SEO指南性功能产品。
2、具体
SEO影响因素全面扫描，提供具体到页面级别的可执行的优化建议。
3、直观
采用100分打分制，综合评价网站当前SEO水平，一目了然。
4、效果可衡量
结合“XX收录量查询”,及时科学衡量SEO优化效果。
二、“SEO建议”功能将从以下6个方面对网站SEO水平进行360度检测：
1、URL长度：
是否符合XX建议url的最长长度（不超过255byte）
2、静态页参数：
是否在静态页面上使用动态参数（会造成spider多次和重复抓取）推荐阅读：
动态地址和静态地址
3、Meta信息完善程度：
是否缺少keywords和description的meta标签（这可能会对网页的展现和排序产生一定影响）
4、Frame信息：
是否存在frame/frameset/iframe标签（frame会导致XXspider的抓取困难，XX建议您尽量不要使用）
5、flash文字描述：
flash是否有文字描述（加入描述的flash文件可以让XX更好的了解您提供的网页）
6、图片alt属性信息：
是否存在没有alt信息的img标签（加入这项信息可使您网页上的图片更容易被检索到）
搜索引擎蜘蛛基本原理
基本概述
搜索引擎蜘蛛即SearchEngineSpider，是一个很形象的名字。
把互联网比喻成一张蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
搜索引擎蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
如果把整个互联网当成一个网，那么搜索引擎蜘蛛就可以用这个原理把互联网上所有节点的网页都抓取下来。
由于互联网上无数的网站页面，搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。
因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度（及外部链接的数量与质量）。
抓取网页策略
在抓取网页的时候，搜索引擎蜘蛛一般有两种策略：
广度优先和深度优先（如下图所示）。
广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。
这是最常用的方式，因为这个方法可以让搜索引擎蜘蛛并行处理，提高其抓取速度。
深度优先是指搜索引擎蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。
这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。
两种策略的区别，下图的说明会更加明确。
广度优化和深度优化
由于不可能抓取所有的网页，有些搜索引擎蜘蛛对一些不太重要的网站，设置了访问的层数。
例如，在上图中，A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层。
如果搜索引擎蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。
这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。
对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
访问网站权限
搜索引擎蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。
当然，网站的所有者可以通过协议让搜索引擎蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给搜索引擎蜘蛛提供相应的用户名和密码。
搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。
而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。
搜索引擎友好度怎么做？
一：
从网站的结构
搜索引擎的工作原理大体分为爬行，抓取，索引和排序四个步骤，因为搜索引擎需要遍历你的网站所有页面，就好像一个蜘蛛能够迅速的遍历自己织的网一样，所以我们又把搜索引擎成为蜘蛛，而我们打造的网站就是网，而网站的结构就是网，如果网做的好，那就很容易让搜索引擎爬行，做的不好，蜘蛛就不愿意爬行，你的网站被收录的可能性就很小，所以在建设网站的时候就一定要充分考虑到网站的结构，要搭建一个让蜘蛛爬行的非常愉快的结构!
二：
明确主题
网站的主题明确也就是关键词非常明确，如果你的网站关键词多变，或者整个网站主题非常混乱，蜘蛛爬行半天都不知道你的网站纲在哪里，到处都是网线，纲不举自然就没有办法让蜘蛛确认你的网站的主题，关键词在网站的分布一定要合理，这也可以参考蜘蛛网的纲，通常都是等距离会出现一个纲线，也就是说网站的内容里面的关键词也要合适的分布，这样才能够让你的网站呈现纲举目张的效应!
三：
用户体验
对于站长们来说都非常的清楚用户体验是非常重要的，有的人为了增强用户的体验性甚至不惜伤害搜索引擎，当然搜索引擎也是非常注重用户体验的，一旦发现自己的算法有违背用户体验的，肯定会很快的修正过来，所以做网站要想得到搜索引擎的青睐，首先就要想办法获得用户的青睐，只有让用户和搜索引擎都喜欢上你的网站，那么你的网站就一定能够成功，要流量有流量，要流量转化率就有流量转化率，想要盈利自然很简单了!
四：
加强外链建设
网站的外链是非常重要的，外链越多，你在互联网上曝光的几率就越高，蜘蛛就越容易找到你，每天蜘蛛在爬行别人的网站时总是能够找到你的网站链接，说明你这个网站非常的重要，自然能够让你的网站获得更好的排名，所以网站的外链建设是非常重要的!
当然外链的质量也要看重，不能够尽做一些垃圾外链，这样反而得不偿失!
五：
每天给用户提供有用的信息
你的网站之所以能够被用户喜欢，是因为你能够提供帮助给用户，如果你的网站内容非常差，根本帮不到用户，那么他们也就只会看看，不会来你网站的，所以每天更新文章就显得非常的重要，更新的文章要能够给用户带来有用的信息，而不是那种东拼西凑的东西，或者采集而来的信息，这些都不利于搜索引擎的爬行收录的!
正向最大匹配算法基本思想
正向最大匹配算法基本思想：
假设字典中最长的词语字数为m，先根据汉语标点符号及特征词把汉语句子切分为短语，然后去取短语的前m个字，在字库里面查找时候存在这个词语，如果存在，短语就去掉在个词；如果不存在就去掉这m个字的最后一个字，检查是否是单字，若是输出此字并将短语减去此字，若不是则继续判断看字库是否存在这个词，如此反复循环，直到输出一个词，此后继续取短语的前m个字反复循环。
这样就可以将一个短语分成词语的组合了。
下图为正向最大匹配算法的流程图
如图：
正向最大匹配算法是基于字符串匹配的分词方法，此外还有逆向最大匹配法、双向最大匹配法等。
以后有机会会总结一下！
相对于基于理解和统计的算法来说，正向最大匹配算法复杂度比较小，技术实现比较容易，仅需要建立词表即可。
但是他对歧义识别比较差，分词的准确性不高。
在实际中我们不能仅仅简单的使用正向最大匹配算法，还需要对其进行改进，可以和逆向匹配算法一起使用，这样可以提高歧义的识别，使他的准确度更高。
升级会员 