NTEK教你正确识别百度蜘蛛中的伪蜘蛛

北测检测

    查看网站logo日志来分析蜘蛛的抓取情况是我们SEO工作者必须要掌握的，但是特别要注意一些百度蜘蛛，这些蜘蛛在我们看来是没有哪些不寻常的，但是它们的有些却是一些伪蜘蛛，那么该要如何去识别这些伪蜘蛛呢？
    何为“伪蜘蛛”，顾名思义就是假蜘蛛，所以我们称非正常抓取网页的百度蜘蛛都是一些伪蜘蛛。
    大家都知道的是站长工具在查看网站信息后，就会出现“伪蜘蛛”的IP。现在的站长工具IP地址为“1172825542”，通常我们看到以"117"开头的IP地址的百度蜘蛛都是伪蜘蛛，所以大家可以直接忽视了。想要识别时，直接使用命令行工具输入指令“tracert IP地址”，出现的结果如下图示而今天还要介绍一种“伪蜘蛛”，这种蜘蛛同样也是百度官方的，但是却是以不建立网页索引为目的的蜘蛛。这类蜘蛛只是为了匹配网页内容才来抓取我们的网页的，是不建立任何的索引的。所以这些百度蜘蛛我们也说它们是伪蜘蛛。
这些蜘蛛在cmd命令行工具tracert IP地址时，是看不出任何奇怪的现象的，和普通的百度蜘蛛没有什么两样。
    其实我们再回头看一下这个百度蜘蛛的IP地址，会发现这些IP和正常的IP是一样的，同样都是以“123”开头的，笔者的网站就曾出现过很多类似蜘蛛，所以就是说通过tracert命令也是不能完全的说明这个IP就是真的百度蜘蛛的。
这样一来，除了联盟蜘蛛大家要注意以外，也要注意百度广告蜘蛛等伪蜘蛛的IP。
    综上所述，通过tracert命令查询出来的蜘蛛只能查看非百度官方的蜘蛛，而对于百度内部的一些蜘蛛（譬如百度联盟）还得我们手工去认识它并识别它到底是不是真正的能够建立索引的百度蜘蛛。 NTEK 北测检测认证机构整理发布。