屏蔽蜘蛛是有讲究的

gongzuozhe

很多seo都会为了吸引蜘蛛，想一切办法为蜘蛛的到来铺平道路。
其实我们的想法是没有错的，但是有些时候，我们却需要屏蔽蜘蛛的到来。没办法，有些东西毕竟见不得光，我们只有隐藏起来，不能让蜘蛛抓取！
南京网站建设给大家总结一些需要屏蔽蜘蛛的情况，至于不屏蔽，我想大家都不会犯难的。
1.css
Css目录搜索引擎抓取是没用的，所以我们就得设置robots文件，屏蔽蜘蛛抓取，以提高搜索引擎索引质量。
2.部分程序的rss页面
这里只针对部分程序的rss页面，一般出现在博客中较多，因为相似性较高，所以我们得屏蔽，这样才能增加搜索引擎的友好度。
3.双页面
一个动态页面为了更好的收录都会生成伪静态的页面，自然要屏蔽动态的页面，防止蜘蛛抓取相同的页面而不开心。
4.模版
这里和第二条差不多情况，因为模版的相似性较高，尤其是套模板的网站，得屏蔽增加友好。
5.缓存
很多站点都具有缓存目录，如果蜘蛛抓取就会直接导致内容的雷同，重复。所以不利于优化，得屏蔽。
6.图片
图片是网站构建的主要元素，自然一个站内就会漫天的图片，而蜘蛛却无法识别图片，当无数次的收录都是一个不知所云的东西，你认为搜索引擎还会收录吗？所以我们会屏蔽一些图片目录，且程序中一般命名为“image，images”
当我们知晓这些情况后，我们就会自然的明白为什么要屏蔽蜘蛛，最终就是一个目的，为了能够更好的进行seo，我们必须恰当的利用好搜索引擎！

文章来自：http://www.t145.com/