robots文件对网站的作用及常用详写方法

巴黎铁锅

网站制作好之后上线，作为一个新网站，看到的人不会太多，毕竟有这么多的网站，你的网站只是其中一员，想要网站让更多的人看到，需要有很好的排名，可以做竞价排名，还可以做搜索引擎优化，做搜索引擎优化，在布局之前要做一个相对比较重要的文件——robots文件。

　　这个文件根据自己网站情况，可以设定想要搜索引擎抓取哪些内容，不抓取哪些内容，或是指定哪个搜索引擎抓取。我们在设置robots文件时也需要注意规则不要写错，我们一起来看看robots文件格式和写法。

　　robots文件里一般写这三行规则：

　　User-agent:

　　Allow:

　　Disallow:

　　这三种

　　User-agent后面可以跟指定的搜索引擎蜘蛛，比如：User-agent：Baiduspider，就是适配百度蜘蛛，只允许百度蜘蛛抓取。

　　User-agent：*是适配所有搜索引擎蜘蛛,都可以抓取。

　　Disallow是禁止搜索引擎抓取网站的某些文件，你可以根据网站情况设置。

　　Allow后面可以填写蜘蛛可以抓取的页面，文件。举例写法：

　　仅禁止Baiduspider访问您的网站

　　User-agent:Baiduspider

　　Disallow:/

　　禁止所有搜索引擎访问网站的任何部分

　　User-agent:*

　　Disallow:/

　　允许所有的robot访问

　　User-agent:*

　　Allow:/