Robots检测工具有哪些，Robots文件如何屏蔽抓取页面呢

Robots文件在网站优化中也是一个比较重要的一项，对于网站Robots你了解多少呢，那Robots检测工具有哪些，Robots文件如何屏蔽抓取页面呢?

　　Robots检测工具有哪些，Robots文件如何屏蔽抓取页面呢?

　　在了解这个之前我们先来了解下什么是Robots?

　　简单的说，就是在百度进来抓取，告诉百度蜘蛛哪些东西是可以看的，哪些东西是不能看的。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。

　　说白了就是在做网站优化的时候，我们可以使用Robots文件来对搜索引擎进行屏蔽，可以选择那些页面让蜘蛛爬去，那些不让蜘蛛爬去。

　　Robots文件如何屏蔽抓取页面呢?

　　禁止所有搜索引擎访问网站

　　User-agent: *

　　Disallow: /

　　允许所有搜索引擎访问网站

　　User-agent: *

　　Allow:　/

　　Robots检测工具有哪些?

　　Robots检测工具一、Robots-站长工具

　　工具网址：https://ziyuan.baidu.com/robots

　　工具介绍：

　　1. robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。

　　2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。

　　3. Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。

　　4. 如需检测未验证站点的robots设置，请点击此处进行检测。

　　Robots检测工具二、Robots检测-爱占工具

　　工具网址：https://tools.aizhan.com/robots/

　　Robots生成工具、robots文件生成-站长工具

　　工具网址：http://tool.chinaz.com/robots/

　　工具介绍：该功能可以帮助站长在不了解robots协议的情况下快速生成robots.txt文件

　　各大搜索引擎蜘蛛的名称写法:

　　1、百度蜘蛛：Baiduspider

　　百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

　　2、谷歌蜘蛛：Googlebot ，Googlebot-Mobile，看名字是抓取wap内容的

　　3、360蜘蛛：360Spider，这个家伙比较勤劳

　　4、SOSO蜘蛛：Sosospider，比360更加勤劳

　　5、雅虎蜘蛛：Yahoo! Slurp China

　　6、有道蜘蛛：YoudaoBot

　　7、搜狗蜘蛛：Sogou News Spider

　　搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，等等

　　8、MSN蜘蛛：msnbot，msnbot-media

　　9、必应蜘蛛：bingbot