|
发表于 2013-5-20 16:33:20
|
显示全部楼层
|阅读模式
来自 中国–北京–北京–海淀区
搜索引擎机器人之所以被称之为蜘蛛,原因就是其行为极其类似蜘蛛。蜘蛛会通过网站上的网状链接来爬行一个网站的页面,如果一个网站没有任何链接入口,那么蜘蛛将会无从下手。因此,要实现网站收录最大化,第一步工作就是要为蜘蛛提供更多的、更加紧密链接入口。最简单的方法就是为蜘蛛制造更多内部链接。
网站的结构如果没有什么大问题的话,蜘蛛一般都能够顺利抓取页面,然后进行下一步的工作——索引页面内容。这一步工作是重中之重,如果成功索引,那么你的网站页面内容也就算成功被收录了,而蜘蛛索引页面的决定性因素就是页面的内容质量。如果一个网站的页面内容过关,或者内容重复度过高都会被蜘蛛轻易否决。所以,为了让蜘蛛成功索引我们的页面,站长们应该要着重网站的内容建设,做到规律更新,即使无法原创也要做到深度伪原创,尽量为蜘蛛提供新鲜的内容。
网站的结构如果没有什么大问题的话,蜘蛛一般都能够顺利抓取页面,然后进行下一步的工作——索引页面内容。这一步工作是重中之重,如果成功索引,那么你的网站页面内容也就算成功被收录了,而蜘蛛索引页面的决定性因素就是页面的内容质量。如果一个网站的页面内容过关,或者内容重复度过高都会被蜘蛛轻易否决。所以,为了让蜘蛛成功索引我们的页面,站长们应该要着重网站的内容建设,做到规律更新,即使无法原创也要做到深度伪原创,尽量为蜘蛛提供新鲜的内容。
当蜘蛛寻找到一个爬行入口后,它就会开始进行下一步工作——抓取页面内容。但是要注意的是,蜘蛛是不可能一次性把网站上的内容都抓取的,它是会根据网站结构情况去抓取,也就是说,如果网站的结构不合理,将会成为蜘蛛抓取页面的一个绊脚石。因此,站长们应该从两个方面去解决网站内部结构问题:
(1)精简flash以及js代码。百度也曾经声明过,蜘蛛对于含有过量flash元素的网站是比较难以抓取的,因此站长们应该尽量不在网站上使用flash,即使要用也要选取容量较小的flash;对于js代码也是如此,过于华丽的js功能其实是不必要的,这只会加重蜘蛛的抓取压力,因此,把冗余的js去掉或者合并是一个明智的选择。
(2)彻底清除网站死链接。网站死链接的产生有时是不可避免的,但是如果不及时注意清理,也会成为蜘蛛抓取页面的一个绊脚石。站长们千万不要嫌麻烦,最好养成每天一查的好习惯,只要一发现死链接,就应该到ftp删除之,又或者到百度站长平台上提交死链接,告诉蜘蛛这是一个死链接,不要再去爬行,这样才能让蜘蛛增加对你的网站好感度。
|
|