教你如何正确设置使用robots.txt文件

各位站长朋友都知道网站Robots.txt文件，所谓的Robots.txt文件就是网站根目录下面的纯文本文件，是蜘蛛索引网站时第一个要读取的文件，它用于指定spider在您网站上的抓取范围，当网站中有不需要被蜘蛛抓取的内容时，可以使用robots.txt文件加入屏蔽，以免增加网站蜘蛛的抓取难度。

所以，正确设置使用robots.txt文件方面可以做网站安全的防护，更重要的是用来做优化，减少无效页面的收录，提升站点的排名效果。

今天就跟大家分享一下如何正确设置使用robots.txt文件？

第一：如何正确书写robots.txt文件，robots.txt文件的书写格式是什么？

要想正确的书写robots文件，首页要对文件的基本函数进行了解：

User-agent：在后面加上* 意思是允许任何搜索引擎对网站进行抓取;User-agent: Baiduspider意思是允许百度搜索引擎对网站进行抓取，如果网站中只写了这个属性，那就表明此网站只接受百度蜘蛛的抓取，其他蜘蛛不可以索引。

Disallow：这个函数的意思是静止蜘蛛访问函数后面的网站目录，如果网站所有的都允许那就写：如果都允许收录: Disallow:，像淘宝网的文件中写到，禁止百度蜘蛛的抓取，网站任何位置都不允许抓取。

Allow:该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

"*" 匹配0或多个任意字符

"$" 匹配行结束符。

第二：设置Robots.txt文件时应注意哪些事项？

1、作为搜索引擎最先访问的目录，过长的robots文件也会影响蜘蛛的爬取速度，所以对于禁止搜索引擎的网页，可以适度的去使用noffollow标记，使其不对该网站传递权重。

2、在robots设置当中关于Disallow当中/和//的区别。举例：Disallow; /a 与Disallow: /a/的区别，很多站长都见过这样的问题，为什么有的协议后加斜杠，有的不加斜杠呢?笔者今天要说的是：如果不加斜杠，屏蔽的是以a字母开头的所有目录和页面，而后者代表的是屏蔽当前目录的所有页面和子目录的抓取。

通常来讲，我们往往选择后者更多一些，因为定义范围越大，容易造成“误杀”。

3、对于Disallow和Allow的设置是有先后顺序之分的，搜索引擎会根据第一个匹配成功的Allow与Disallow来确定首先访问那个url地址。

4、已经删除的目录屏蔽不建议使用Robots.txt文件屏蔽。很多站长往往删除一些目录后，怕出现404问题，而进行了屏蔽，禁止搜索引擎再抓取这样的链接。事实上，这样做真的好吗?即使你屏蔽掉了，如果之前的目录存在问题，那么没有被蜘蛛从库中剔除，同样会影响到网站。

   建议最佳的方式是：将对应的主要错误页面整理出来，做死链接提交，以及自定义404页面的处理，彻底的解决问题，而不是逃避问题。

5、在robots设置当中“*”和“$”的设置，其中”$” 匹配行结束符。”*” 匹配0或多个任意字符。

   最后，笔者要说robots文件的发展已经有10年之余，很多搜索引擎已经对文件进行认可，正确的文件使用可更好的帮助站长们优化网站，否则使用不当便会造成很大的影响。