用robots对其网址进行禁止协议

76579*** · 发表于 2012-11-20 12:56:07

多数站长在建站时，会先把程序上传到空间，用robots对其网址进行禁止协议，其实这是正确的做法，但有很多情况下，是无法禁止收录的。其中原因是有外部链接指向网站，有任何一条链接指向到网站任何一个页面都会收录，这时禁止收录的只是网站内容，会对网址一直收录，而且百度快照会天天更新。robots协议在百度站长平台，官方已经表明，如果有外链的网站，或者文件不是放在根目录不会禁止收录，谷歌虽然没有表明也会有类似的情况。
　　如果没有外部链接，用robots禁止收录，进行整站修改是件非常方便事情，是各大小站长常用的方法。但往往网站准备上线，要开放网站的时候，却忘记修正协议，或者定义写错。如果文件写着Disallow:/ 网站肯定不会正常。如果已经开始发外链，那只好收录网址。认为定义都写对了，那么请检查后台隐私部分，是否不允许蜘蛛访问。

亚*** · 发表于 2012-11-20 12:57:02

个人建议robots 谨慎使用

youd*** · 发表于 2012-11-20 13:08:20

本帖最后由 youdaocn 于 2012-11-20 13:09 编辑

嗯，好吧，来学习一下

成都*** · 发表于 2012-11-20 14:00:23

我还没有使用过这个协议呢

		自动登录	找回密码
密码			立即注册

[杂谈] 用robots对其网址进行禁止协议

评分

浏览过的版块

站长推荐 /1