什么是搜索引擎蜘蛛工作原理是怎样的呢

   什么是搜索引擎蜘蛛工作原理是怎样的呢?

　　什么是搜索引擎蜘蛛?

　　确实如同白话理解的一般，互联网可以理解成一张巨大的“蜘蛛网”，搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网(互联网)中浏览信息，然后把这些信息都抓取到搜索引擎的服务器上，然后建立索引库。就好比机器人浏览我们的网站，然后把内容保存到自己的电脑上。

　　搜索引擎蜘蛛工作原理是怎样的呢?

　　爬行和抓取网页：搜索引擎蜘蛛通过跟踪链接访问网页，获得页面HTML代码存入数据库。

　　每家独立的搜索引擎都会有自己的网页抓取程序爬虫。爬虫蜘蛛顺着网页中的超链接分析连续访问抓去更多网页。被抓取的网页被称之为网页快照。毋庸置疑，搜索引擎蜘蛛抓取网页是有一定规律的。如下：

　　1、权重优先：先参照链接的权重，再综合深度优先和宽度优先策略抓取。打个比方，如果这条链接的权重还不错，就采用深度优先;如果权重很低，则采用宽度优先。

　　2、重访抓取：这个就可以直接字面上理解。因为搜索引擎使用单个重访与全部重访结合的居多。所以我们做网站内容要记得定期维护日常更新，让蜘蛛多来访多抓取才能收录快。

　　处理网页：索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处理，以备排名程序调用。

　　搜索引擎抓取到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、超链接分析、计算网页的重要度/丰富度等。

　　处理网页分为以下几个部分：

　　1、网页结构化：HTML代码全部删除掉，提取出内容。

　　2、消噪：留下网页的主题内容。

　　3、查重：查找删除重复的网页与内容。

　　4、分词：提取出正文的内容后，分成若干个词语，然后排列存入索引库。同时计算这个词在这个页面出现了多少次。有必要指出，关键词堆砌就是借用这个原理对网站进行优化。这种做法属于作弊。

　　5、链接分析：搜索引擎会查询分析这个页面的反向链接有多少，导出链接有多少内链，然后判定这个页面多少权重。

　　排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。 

　　搜索引擎蜘蛛爬行策略有哪些呢?

　　当然网站和页面链接结构太过于复杂，所以蜘蛛只有采用一定的方法才能够爬完所有页面，据小编了解搜索引擎蜘蛛爬行策略有3种：

　　1、最佳优先

　　最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取，它只访问经过网页分析算法预测为“有用”的网页。

　　存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法，因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点，据马海祥博客的研究发现，这样的闭环调整可以将无关网页数量降低30%~90%。

　　2、深度优先

　　深度优先是指蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。

　　3、广度优先

　　广度优先是指蜘蛛在一个页面发现多个链接时，不是顺着一个链接一直向前，而是把页面上所有链接都爬一遍，然后再进入第二层页面沿着第二层上发现的链接爬向第三层页面。

　　从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整个互联网。