飘仙建站论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 135|回复: 0

[杂谈] 巧用网站禁止收录机制屏蔽蜘蛛抓取页面

[复制链接]
     

25

主题

25

帖子

475

积分

新手上路③

Rank: 3Rank: 3

积分
475
发表于 2022-4-20 01:53:43 | 显示全部楼层 |阅读模式 来自 重庆市
基于网站安全与盈利的因素,站长并不希望某些目录或页面被抓取和收录,比如付费内容、测试阶段的页面及复制内容页面等。

尽管在网站建设的过程中,使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步,而导致页面不被收录。

但在某些情况下搜索引擎是能够读取他们的,基于网站排名考虑,我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。

强调一下,建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱,致使搜索引擎不能正确判断与抓取页面的主题与文字。

要确保网站某些目录或页面不被收录,需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。

1、robots 文件

搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件,它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。

user-agent:* 适用于所有蜘蛛

Disallow:/upload/

Disallow: .jpg$ 禁止抓取所有.jpg文件

Disallow: *.html 禁止抓取所有html文件

Disallow:/upload/index.html

Disallow 禁止抓取哪些文件或目录,Allow 告诉搜索引擎应该抓取哪些页面,由于不指定就是允许抓取,所以allow单独写没有意义。

2、meta robots标签

Meta robots 标签是页面 head 部分 meta 标签的一种,用于指令搜索引擎禁止索引本页内容。

最简单的 meta robots 标签格式为:

<meta name=”robots” content=”noindex,nofollow”>

效果是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。

<meta name=”robots” content=”noindex”>

效果是禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。

Google、必应、雅虎支持的标签如下:
Noindex:不要索引本页面

Nofollow:不要跟踪本页面上的链接

Nosnippet:不要在搜索结果中显示摘要文字

Noarchive:不要显示快照

Noodp:不要使用开放目录中的标题和描述

百度支持:Nofollow和Noarchive

只有禁止索引时,使用meta robots才有意义。

使用了 noindex meat robots 标签的页面会被抓取,但不会被索引,页面URL也不会出现在搜索结果中,这一点与 robots 文件不同。

作者:良家佐言

来源:https://www.badpon.com/2552.html

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|小黑屋|手机版|西部数码代理|飘仙建站论坛 ( 豫ICP备08106178号-2 )|网站地图

GMT+8, 2022-8-12 04:36 , Processed in 0.075324 second(s), 12 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表