找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2281|回复: 1

[探讨] Unknown robot (identified by 'spider') 这个是哪个的蜘蛛?

[复制链接]
发表于 2015-1-8 20:13:13 | 显示全部楼层 |阅读模式 来自 中国–天津–天津
Unknown robot (identified by 'spider') 这个是哪个的蜘蛛?



怎样把它除掉?













发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

发表于 2015-1-8 20:17:34 | 显示全部楼层 来自 中国–河南–新乡
这个是未知蜘蛛;
BaiDuSpider百度蜘蛛占用流量,robots.txt设置 http://www.wensuhulian.com/faq/list.asp?unid=389
你可以参考这个文章里面的示例 6,设置一下 仅允许主要的 几个蜘蛛来爬

评分

参与人数 1金币 +3 收起 理由
抢楼评分专号 + 3 很幸运,你获得了抢楼奖励!

查看全部评分

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 需要先绑定手机号

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|手机版|小黑屋|西部数码代理|飘仙建站论坛 ( 豫ICP备2022021143号-1 )

GMT+8, 2024-11-1 06:59 , Processed in 0.057189 second(s), 12 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表