关紧seo细节之robots.txt那点事

战龙在野

今日遇到一个自称做了3年seo的人来企业面试，态度十分骄慢。在和他的交谈居中，提到达一个话题：robots.txt终归该不该做。在他看来 robots.txt用处半大，他曾经优化的电商网站都没写，而我想说的是：robots.txt文件是务必的。我不晓得为何做了3年seo的人会说robots.txt没啥子大用处，还说没有其它外部链接蜘蛛就不会抓取到这些页面，没必要用robots.txt屏蔽。要是实在这么，为何蜘蛛到达一个网站会头先看这个网站的robots.txt文件？robots.txt文件没有任何外部链接，仍能被蜘蛛爬取到？而且网站的源代码里面肯定会有 css、js、网站后台、图片等链接那么这些文件都无须屏蔽？

OK，假如不写robots.txt也能做好seo，我承认，确实是，不过robots.txt做为seo入门的基础知识，是我们每个seoer应当重视的。seo做的就是细节，假如这个细节你不经意、那个细节也不经意，不经意的细节多了，你怎么能做好seo？

不论是百度也好、谷歌也好，它们的seo手册里都写到：

搜引得擎使役spider手续半自动过访互联网上的网页并获取网页信息。spider在过访一个网站时，会头先会 查缉该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中开创一个robots.txt，在文件中声明 该网站中不想被搜引得擎收录的局部还是指定搜引得擎只收录特定的局部。

robots.txt的使役实则是seo的高级使用，在一点行业网站上尤为表面化，行业网站页面过多，无用的页面也有众多，所以务必使役robots.txt屏蔽无用页面，提高蜘蛛的爬取速率，这是seo的高级策略。

所以，robots.txt文件委实是有用的，并不像有点人说的那么不关紧，有点人虽然做了几年的seo，不过如今还想用曾经的思路来做优化，显然 是不可取的，搜引得擎的技术在飞速提高，zac说过，谷歌在几年初就能抓取js里面的链接了，而且能传送权重，你还认为js不得被搜引得擎识别吗？

搜引得擎的技术正在一步一步的完备，假如我们seo技术不得与时俱进，那就只能被淘汰！

本文由安徽移动网上营业厅缴费http://www.moonjia.com/提供 转载请注明出处

minixiaosehui

学习学习~~~文章不错很棒