wordpress博客的robots设置技巧

锐狐网络-陈

菏泽口吃治疗站长和大家一起分享一下wordpress的robots.txt的设置的相关技巧。robots.txt是搜索引擎的蜘蛛在来到网站首先要查看的一个文件，由于网站有些内容是不想被搜索引擎抓取的，好比网站的模板文件，css文件，JS文件，管理界面等等，这时候就要设置一些robots.txt文件来使蜘蛛遵守这一些协议。Wordpress中的robots.txt文件的存放位置在网站的根目录下,如果你本身没有设置，WP会生成一个动态的robots.txt文件。查看一个网站的robots.txt文件体例也很简单，只要在地址栏输入以下路径就可以了：你的域/robots.txt　需要重视的是，文件名要全部小写哦。例如，最开始萝卜居家园网的rotobs.txt是动态生成的，其对搜索引擎其实不友好：

下面，萝卜鱼为大家解释一下robots.txt的写作体例及重视事项：

1、robots.txt必须上传到你的网站根名录下，在子目录下无效

2、robots.txt，Disallow等必须重视大小写，不能改变

3、User-agent，Disallow等后面的冒号必须是英文状况下的，冒号后面可以空一格，也可以不空格。网上有人说冒号后面必须有空格，其实没有也是可以的，请看谷歌中文网站管理员博客的设置就是这样：

4、User-agent暗示搜索引擎开放目录：星号“*”代表对所以的搜索引擎采用下面的规则，Google的spider是“Googlebot”，百度是“Baiduspider”

5、Disallow:暗示不允许搜索引擎拜候和索引的目录

6、Allow:指明允许搜索引擎拜候和索引的目录。下面萝卜鱼来讲一下wordpress博客中robots.txt的具体用法：

1、禁止搜索引擎收录wordpress博客评论及评论分页，以免出现和萝卜居家园网相同的问题。您只需要在robots.txt文件中加入下面的语句即可：

Disallow: /comments %26mdash限制抓取评论

Disallow: /*?replytocom= %26mdash限制抓取每一个评论页面

上面的两行代码即可禁止搜索引擎收录您博客的评论及评论分页内容了!2、禁止搜索引擎收录wordpress博客的feed订阅页面，避免出现搜索引擎索引中出现反复页面。博客都有一个订阅整站的feed，每个文章分类，每篇文章也别离有一个feed，feed页面和网站页面内容基底细同，如果feed页面没有被禁止拜候，可想而知，这将会产生大量的反复页面。有博友反应将feed Disallow以后，从百度搜索引擎来的流量上升很是明显。这里请重视Disallow: /feed和最后加了反斜杠的Disallow: /feed/ 是完全不一样的。Disallow: /feed可以禁止的url包含：abc.com/feed，abc.com/feed.html，abc.com/feed/abc这三种形式，而Disallow: /feed/只能禁止搜索引擎拜候abc.com/feed/abc这种目录形式，所以我们应该用Disallow: /feed。(参考于远方博客，谢谢

Disallow: /feed %26mdash限制抓取feed内容

Disallow: /*/*/feed %26mdash限制抓取文章分类和单独文章文章页面的feed

3、禁止搜索引擎收录wordpress博客的管理页面及模板文件，这个应该是不需要提供给搜索引擎索引的。您只需要在robots.txt文件中加入下面的语句即可：

Disallow: /wp-admin %26mdash限制抓取管理员登陆页面

Disallow: /wp-content/plugins %26mdash限制抓取插件文件

Disallow: /wp-content/themes %26mdash限制抓取模板文件

Disallow: /wp-includes %26mdash限制抓取js文件

4、为wordpress提供站点地图，您可以在最后添加下面的语句：

Sitemap:

robots.txt文件中加入Sitemap链接，这点很首要，也是搜索引擎喜欢的。如何生成WordPress的Sitemap，您可以搜索一下相关插件，wordpress有很多插件可以生成您的站点地图的。5、如果您实在对编写robots.txt无从下手，您可使用百度站长东西中的robots东西来全主动生成您的robots文件，这个东西可以让您可视化的编写您的robots文件。好了，设置好robots.txt文件后，请重视测试其的精确性，推荐使用Google网站管理员东西里的“测试robots.txt”功能，很是实用。
www.sqkcjz.com  www.kfnyxn.com  www.zimoshuijing.com站长整理发布！