找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2048|回复: 6

关于RObots,小白有问题想咨询大大

[复制链接]
发表于 2013-5-12 10:56:04 | 显示全部楼层 |阅读模式 来自 中国–福建–莆田
最近请万网搭建了一个网站,由于自己什么都不懂,所以只能请人了。网站搭建完成,备案完成,结果有四五天不能被各个搜索引擎收录,于是我在百度站长平台查询robots,以下是查询内容,就各位高人指点下,看看是否有影响,又有问题该如何修改!

网站robots内容:
# Created by Yifan @ 2008/11/3
# Sorry! You will see no welcome descriptions except this because we want to limit the total output bytes.

# Section A: Version 1.0 standard
# Please add disallows in this section!
# DO NOT add allows in this section, since "allow" is only allowed in robots.txt version 2.0.
User-agent: *
Disallow: /web/vcodeimg.aspx # verify code imaging
Disallow: /plugin/doc/docEdit.aspx # user comment edit page
Disallow: /~/plugin/doc/docEdit.aspx # user comment edit page


# Section B: Non standard
Crawl-delay: 30
Sitemap: http://www.krsin.com/web/sitemapsxml.aspx?sid=10042351 # this is automatically generated by robots.aspx

# Section C: Version 2.0 standard
# Please check the following url:
# http://www.conman.org/people/spc/robots2.html#format.directives.robot-version
# You can add allows here! eg:
# Allow: /

# Request-rate Hints:
# Request-rate for the specific time, h=hour, m=minute, omitted=second
Request-rate: 1/1h 0030-0329 # 0830-1129, Beijing, zoom +8
Request-rate: 3/1h 0330-0529 # 1130-1329, Beijing, zoom +8
Request-rate: 1/1h 0530-1029 # 1330-1829, Beijing, zoom +8
Request-rate: 1/6m 1030-1329 # 1830-2129, Beijing, zoom +8
Request-rate: 1/1m 1330-0029 # 2130-0829 +1 day, Beijing, zoom +8

# End of file






网站robots.txt分析结果
位置
路径
访问者
说明
第8行/web/vcodeimg.aspx* (所有UserAgent)不允许抓取
第9行/plugin/doc/docEdit.aspx* (所有UserAgent)不允许抓取
第10行/~/plugin/doc/docEdit.aspx* (所有UserAgent)不允许抓取

robots.txt错误提示
位置
文件内容
错误原因
第25行Request-rate: 1/1h 0030-0329语法错误
第26行Request-rate: 3/1h 0330-0529语法错误
第27行Request-rate: 1/1h 0530-1029语法错误
第28行Request-rate: 1/6m 1030-1329语法错误
第29行Request-rate: 1/1m 1330-0029语法错误



求各位大大鉴定下,并给与指点。谢谢诸位了!!!





发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

发表于 2013-5-12 11:10:39 | 显示全部楼层 来自 中国–河南
你这个robots写的还真有点复杂,和一般网站的robots文件相比 多了一些让人不明白的东西;

建议重新写一下

http://tool.chinaz.com/robots/ 这个是一个辅助生成robots文件的工具,建议你用这个工具重新搞个robots文件,具体需要限制哪些目录 可以问一下给你做网站的人

评分

参与人数 1金币 +5 收起 理由
抢楼评分专号 + 5 很幸运,你获得了抢楼奖励!

查看全部评分

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

 楼主| 发表于 2013-5-12 11:16:08 | 显示全部楼层 来自 中国–福建–莆田
天外飘仙 发表于 2013-5-12 11:10
你这个robots写的还真有点复杂,和一般网站的robots文件相比 多了一些让人不明白的东西;

建议重新写一下 ...

谢谢亲的指导,还能再说说点相关的吗

点评

能说的我都已经说过了的, 平时没事多学些seo 网络推广等方面的知识 就好了  详情 回复 发表于 2013-5-12 11:32

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

发表于 2013-5-12 11:32:01 | 显示全部楼层 来自 中国–河南
七佑 发表于 2013-5-12 11:16
谢谢亲的指导,还能再说说点相关的吗

能说的我都已经说过了的,

平时没事多学些seo 网络推广等方面的知识 就好了

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

发表于 2013-5-14 11:44:10 | 显示全部楼层 来自 中国–重庆–重庆
你提交你的网站没有?百度收录有点慢,robots只是定义不被收录的文件

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

 楼主| 发表于 2013-5-15 13:57:57 | 显示全部楼层 来自 中国–福建–莆田
ojn 发表于 2013-5-14 11:44
你提交你的网站没有?百度收录有点慢,robots只是定义不被收录的文件

现在已经收录了,谢谢啊

点评

ojn
不客气,  详情 回复 发表于 2013-5-16 12:40

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

发表于 2013-5-16 12:40:29 | 显示全部楼层 来自 中国–重庆–重庆
七佑 发表于 2013-5-15 13:57
现在已经收录了,谢谢啊

不客气,{:soso_e100:}

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 需要先绑定手机号

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|手机版|小黑屋|西部数码代理|飘仙建站论坛 ( 豫ICP备2022021143号-1 )

GMT+8, 2024-12-23 09:05 , Processed in 0.074651 second(s), 16 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表