Robots俗称萝卜丝，你们懂了吗？

www.won***

作为一个合格的SEO，必须懂得写Robots（萝卜丝）和分析IIS日志，在优化的过程中，我们为什么要懂得写Robots（萝卜丝）和分析IIS日志呢，Robots（萝卜丝）和分析IIS日志在SEO的作用有多大呢？在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化分析IIS文件的运用, 现在写只是补充一下Robots在SEO的作用。

当你的网站改版的时候，会产生很多死链接；不想被百度抓取的页面；删了帖子，留下的死链接等等的原因都会用到Robots。

关于Robots的写法：

User-agent: Baiduspider（定义搜索引擎的类型）

Disallow: /wontime.cn(定义禁止搜索引擎收录的地址)

Allow: 定义允许搜索引擎收录的地址

我们常用的搜索引擎类型有：

(User-agent区分大小写)

google蜘蛛：Googlebot

百度蜘蛛：Baiduspider 　

yahoo蜘蛛：Yahoo!slurp

alexa蜘蛛：ia_archiver

bing蜘蛛：MSNbot

altavista蜘蛛：scooter

lycos蜘蛛：lycos_spider_(t-rex)

alltheweb蜘蛛：fast-webcrawler

inktomi蜘蛛： slurp

Soso蜘蛛:Sosospider

Google Adsense蜘蛛:Mediapartners-Google

有道蜘蛛:YoudaoBot