找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 977|回复: 2

[杂谈] 如何提高网站在百度的抓取速度?

[复制链接]
发表于 2012-3-19 17:31:57 | 显示全部楼层 |阅读模式 来自 中国–河北–保定
1、分析搜索引擎的抓取日志
  当我们的网页被收录之前,首先是需要搜索引擎来爬行、抓取的,当搜索引擎抓取到你的页面后,而且它觉得你的文章质量符合它的收录标准的时候,它就会把你的网页收录进它的索引库、然后经过处理给予你的网页相应的关键词的排名,而分析日志,可以清楚的知道我们哪些页面被抓取了,哪些页面没有被抓取,网站的每个目录的抓取情况,这样我们可以采取相应的措施来促进搜索引擎的收录。

2、在首页多展示未被抓取的网页的URL
  首先,我们把未抓取的URL列表提取出来了,然后我们可以把这些URL在首页展示,以增加被搜索引擎抓取的机会,许多网站至所以在首页有最新文章版块、随机展示版块,其实也大都是为了增加被搜索引擎抓取的机会从而增加网站页面的收录,首页的权重是一个网站中最高的URL页面,往往也是蜘蛛最活跃的页面,所以在首页展示往往可以增加收录。

3、利用robots.txt文件以及nofollow、noindex标签协助搜索引擎收录
  读过搜索引擎原理书的人都知道,对于搜索引擎来说,它的资源是有限的,每天搜索引擎只能抓取互联网中网页的一部分,而在这抓取的网页中,收录也只是一部分,所以搜索引擎的资源很稀缺,在这种情况下,我们要把我们最重要页面的URL给尽量的展示给搜索引擎,而对于一些没有收录价值的页面,可以阻止其收录、或者阻止其跟踪,在这里robots文件与nofollow就派上用场了,例如一些没有收录意义的联系我们、企业招聘、登录、注册等这些链接,我们可以直接用nofollow阻止搜索引擎去跟踪,对于一些目录例如网站的模板目录、网站中一些动态URL,我们可以使用robots直接阻止搜索引擎收录,而且我们还可以把noindex属性加到页面的head部分阻止搜索引擎收录,当我们把这些所谓的无意义页页都阻止抓取以后,搜索蜘蛛就会在我们网站抓取更多有意义的页面,从而增加我们的有效收录。


4、多发一些网站列表页URL的外链
  在SOSO的官方SEO指南中,曾经提到过这一点,也就是说我们可以专注于我们的列表页,可以给一些列表页多发一些外链,因为列表页里边的有效URL比较多,当搜索引擎蜘蛛抓取到列表页后,就会抓取列表页中的产品URL,从而增加我们的收录。
  


5、灵活调整搜索引擎的抓取频率
  在谷歌网站管理员工具中,其中有一项就是我们可以根据自己网站的情况,调整搜索引擎的抓取频率,在默认的情况下,谷歌是按照你的网站的服务器承认情况,来调整它的抓取频率的,它的原则就是在你服务器能够承受的情况下、尽可能多的去抓取。因此,如果我们想提高它的抓取频率,我们可以在这谷歌网站管理同工具里边进行调整,当然这个只能是针对谷歌的。

本文是由河北小编 零风飘雪  www.lnr120.com 进行编辑整理发布

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

 楼主| 发表于 2012-3-19 17:33:09 | 显示全部楼层 来自 中国–河北–保定
电影网基地 www.dywjd.com   男科医院  www.lnr120.com  

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

发表于 2012-7-3 19:43:15 | 显示全部楼层 来自 中国–广东–珠海
每天早早的更新维护网站,然后做外链{:soso_e130:}

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 需要先绑定手机号

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|手机版|小黑屋|西部数码代理|飘仙建站论坛 ( 豫ICP备2022021143号-1 )

GMT+8, 2024-11-24 02:45 , Processed in 0.475539 second(s), 8 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表