|
通过分析众多客户网站的空间访问日志,针对不同的网站,总结百度蜘蛛的对不同站点的爬行规律,大概总结成以下三个时期。
一、初探期
初探期是指网站开通提交给百度收录之后的一段时间内,在这段时间内,百度的蜘蛛会来爬行网站的首页,然后蜘蛛会根据爬行的结果爬行首页上连接的其它页面。当然在这个阶段,机器人爬行首页次数会非常少,有可能一天只有几次爬行首页,主要是因为你网站上有很多链接,它得一个一个的爬。机器人的爬行量远远大于百度放出来的收录量。
二、稳定期
百度把你的网站爬行得差不多的时候,我们就称为稳定期,这个得根据你网站来确定,有时一个新网站可能一个星期就进入这个阶段,有时要一个月。这个阶段,百度蜘蛛机器人爬行首页的次数会有明显的增加,比如你网站在初试期机器人一天爬行首页次数为5次,那么在这个阶段就有可能是10–50次。为什么爬行首页的次数为增加,那是因为你更新网站后,基本上所有的更新内容都会反映在首页上,当然百度会从首页入口。在这个阶段机器人爬行量一般情况下是收录量的十几倍,当然你得减去爬行首页的数量计算。
三、成熟期
百度一旦把你的网站拿入成熟期,你网站要想收录量有很大的变化,基本上是不可能的,因为在这个阶段,百度机器人只会爬行你更新的页面,对于没有更新的页面,机器人都不爬行了。成熟期百度机器人爬行首页的比例,基本上占到了所有爬行量的五分之一以上,收录量基本是是除去首页爬行量的六分之一以上。所以说在这个阶段我们更新网站内容时,一定要让更新的内容上首页,更新次数多一点,让蜘蛛机器人每次来都有新内容所爬。
根据这三点,在不同时期我们应该采取不同的手段来满足蜘蛛的需求,初探期不要惊慌,稳定期也不要放松,成熟期我们更应该去坚持不懈的维护网站的内容
|
|