找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 479|回复: 0

[杂谈] NTEK教你正确识别百度蜘蛛中的伪蜘蛛

[复制链接]
发表于 2014-11-5 13:41:56 | 显示全部楼层 |阅读模式 来自 中国–广东–深圳
    查看网站logo日志来分析蜘蛛的抓取情况是我们SEO工作者必须要掌握的,但是特别要注意一些百度蜘蛛,这些蜘蛛在我们看来是没有哪些不寻常的,但是它们的有些却是一些伪蜘蛛,那么该要如何去识别这些伪蜘蛛呢?
    何为“伪蜘蛛”,顾名思义就是假蜘蛛,所以我们称非正常抓取网页的百度蜘蛛都是一些伪蜘蛛。
    大家都知道的是站长工具在查看网站信息后,就会出现“伪蜘蛛”的IP。现在的站长工具IP地址为“1172825542”,通常我们看到以"117"开头的IP地址的百度蜘蛛都是伪蜘蛛,所以大家可以直接忽视了。想要识别时,直接使用命令行工具输入指令“tracert IP地址”,出现的结果如下图示而今天还要介绍一种“伪蜘蛛”,这种蜘蛛同样也是百度官方的,但是却是以不建立网页索引为目的的蜘蛛。这类蜘蛛只是为了匹配网页内容才来抓取我们的网页的,是不建立任何的索引的。所以这些百度蜘蛛我们也说它们是伪蜘蛛。
这些蜘蛛在cmd命令行工具tracert IP地址时,是看不出任何奇怪的现象的,和普通的百度蜘蛛没有什么两样。
    其实我们再回头看一下这个百度蜘蛛的IP地址,会发现这些IP和正常的IP是一样的,同样都是以“123”开头的,笔者的网站就曾出现过很多类似蜘蛛,所以就是说通过tracert命令也是不能完全的说明这个IP就是真的百度蜘蛛的。
这样一来,除了联盟蜘蛛大家要注意以外,也要注意百度广告蜘蛛等伪蜘蛛的IP。
    综上所述,通过tracert命令查询出来的蜘蛛只能查看非百度官方的蜘蛛,而对于百度内部的一些蜘蛛(譬如百度联盟)还得我们手工去认识它并识别它到底是不是真正的能够建立索引的百度蜘蛛。 NTEK 北测检测认证机构整理发布。


发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 需要先绑定手机号

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|手机版|小黑屋|西部数码代理|飘仙建站论坛 ( 豫ICP备2022021143号-1 )

GMT+8, 2024-11-26 02:03 , Processed in 0.914059 second(s), 8 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表