什么是网站robots.txt文件的作用，网站robots写法
我们在做网站的时候，一个完整的网站要有301重定向、404页面和robots.txt文件这些都是做网站必须要有的，有经验的站长知道301重定向的目的是为了集权，404是在网站出现死链的时候引导蜘蛛以及增加用户体验。
那什么是网站robots.txt文件的作用，网站robots写法。今天小编就来为大家科普下关于robots.txt文件。
什么是网站robots.txt文件?
robots协议(也称为爬虫协议、爬虫规则、机器人协议 等)也就是robots.txt。
robots.txt文件是存放在网站根目录下面的一个TXT文本文档。它是网站和蜘蛛之间的一个协议。
网站通过robots协议告诉搜索 引擎哪些页面可以抓取，哪些页面不希望被抓取。推荐关注(深圳SEO培训)
robots文件的作用呢?
如果你网站根目录有robots.txt这样一个文件，那蜘蛛在爬行你网站的时候就会首先访问这个文件(robots文件一般都要存放在根目录，蜘蛛第一个访问的文件，因此这个文件是很重要的)。
robots文件的作用是告诉搜索引擎蜘蛛，网站的哪些文件夹可以抓取，哪些文件夹不能抓取，从而确保我们网站的隐私内容不会被收录。
网站robots写法：
* 代替0或者任意多的字符
$ 结束符号，圈定以xxx结尾的文件
? 动态页面专用 推荐阅读(什么是网站地图)
接下来robots的书写格式：
每行的首字母都大写
必须使用英文输入法书写
(注意)User-agent ， Disallow ， allow后面跟英文的冒号再加空格然后才能继续书写。
各大搜索引擎蜘蛛的名称写法:
1、百度蜘蛛：Baiduspider
百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛：Googlebot ，Googlebot-Mobile，看名字是抓取wap内容的
3、360蜘蛛：360Spider，这个家伙比较勤劳
4、SOSO蜘蛛：Sosospider，比360更加勤劳
5、雅虎蜘蛛：Yahoo! Slurp China
6、有道蜘蛛：YoudaoBot
7、搜狗蜘蛛：Sogou News Spider
搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，等等、、、、、、
8、MSN蜘蛛：msnbot，msnbot-media
9、必应蜘蛛：bingbot
