蜘蛛极其讨厌的两种行为

demon5395

　　一、网站flash、图片过多。 不得不说，各大搜索引擎发展到现在，已经算是相当的智能化了，特别是近些年来各大搜索引擎不断更新算法，就例如说在2011年的时候谷歌推出的图片搜索功能，我们能够从这些图片中找到源网页的地址，但是毕竟是搜索引擎，他还是有着不小的差距。然而在这时候很多站长，特别是企业站，为了突出产品，在网站中镶入大量的flash、图片，但是大家都知道搜索引擎蜘蛛是无法抓取flash、和图片文件的，所以即便是我们的内容在好，也都是无法让蜘蛛抓取爬行的。所以对于那些网站中存在大量图片以及flash的网站，小编建议各位用一些模拟蜘蛛爬行的工具检测一下自己的网站，看看是否是因为此情况造成蜘蛛不访问我们的网站。
　　二、网站存在大量的死链接。  我们幻想一下，每当蜘蛛开开心心的访问我们的网k站的时候，通过源码爬行我们网站各个链接的时候，本以为能够找到一些新鲜的好内容，然而却是一大堆的死链接等待着它，就这样一次、两次、三次，每次来都有这样的情况出现，那么你认为蜘蛛会对你的网站有一个好的评价，还会再次的抓取你网站的内容吗？就当时就是因为大量的404页面被蜘蛛抓取，造成那一段网站内容不被搜索引擎收录，所以后来小编在观察网站日志中发现蜘蛛爬行的页面中含有有状态码为404的页面才恍然大悟，所以也立即的对这些404页面进行清除、屏蔽，并且在那段时间发了不少的外链，后来网站蜘蛛爬行抓取也都正。

赵人无名

嗯，学习了。