找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 537|回复: 1

[转载] 百度蜘蛛抓取网站的三个特定时期

[复制链接]
发表于 2012-12-3 14:09:46 | 显示全部楼层 |阅读模式 来自 中国–广东–深圳
通过分析众多客户网站的空间访问日志,针对不同的网站,总结百度蜘蛛的对不同站点的爬行规律,大概总结成以下三个时期。
     一、初探期
  初探期是指网站开通提交给百度收录之后的一段时间内,在这段时间内,百度的蜘蛛会来爬行网站的首页,然后蜘蛛会根据爬行的结果爬行首页上连接的其它页面。当然在这个阶段,机器人爬行首页次数会非常少,有可能一天只有几次爬行首页,主要是因为你网站上有很多链接,它得一个一个的爬。机器人的爬行量远远大于百度放出来的收录量。
  二、稳定期
  百度把你的网站爬行得差不多的时候,我们就称为稳定期,这个得根据你网站来确定,有时一个新网站可能一个星期就进入这个阶段,有时要一个月。这个阶段,百度蜘蛛机器人爬行首页的次数会有明显的增加,比如你网站在初试期机器人一天爬行首页次数为5次,那么在这个阶段就有可能是10–50次。为什么爬行首页的次数为增加,那是因为你更新网站后,基本上所有的更新内容都会反映在首页上,当然百度会从首页入口。在这个阶段机器人爬行量一般情况下是收录量的十几倍,当然你得减去爬行首页的数量计算。
  三、成熟期
  百度一旦把你的网站拿入成熟期,你网站要想收录量有很大的变化,基本上是不可能的,因为在这个阶段,百度机器人只会爬行你更新的页面,对于没有更新的页面,机器人都不爬行了。成熟期百度机器人爬行首页的比例,基本上占到了所有爬行量的五分之一以上,收录量基本是是除去首页爬行量的六分之一以上。所以说在这个阶段我们更新网站内容时,一定要让更新的内容上首页,更新次数多一点,让蜘蛛机器人每次来都有新内容所爬。
根据这三点,在不同时期我们应该采取不同的手段来满足蜘蛛的需求,初探期不要惊慌,稳定期也不要放松,成熟期我们更应该去坚持不懈的维护网站的内容

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

发表于 2012-12-3 16:40:28 | 显示全部楼层 来自 中国–四川–成都
百度一旦把你的网站拿入成熟期,你网站要想收录量有很大的变化

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 需要先绑定手机号

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|手机版|小黑屋|西部数码代理|飘仙建站论坛 ( 豫ICP备2022021143号-1 )

GMT+8, 2024-12-23 15:23 , Processed in 0.042664 second(s), 9 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表