普通来说,尽力让搜引得擎抓取和引得更多内容是SEO们常常头疼的一个问题,没有收录、引得就无从谈名次。特别对达到一定规模的网站来说,使网站充分收录是个颇令人费心的SEO技术,当页面达到譬如说几十万,不论网站架构怎么设计、多么优化,100百分之百收录都是不可能的,只能尽力增长收录率。 但有时怎么阻挡搜引得擎收录也可能成为一个问题,近来越来越成为问题。需要阻挡收录的情况如保密信息、复制内容、广告链接等。以往常用的阻挡收录办法涵盖密码保障、把内容放在表格后面、使役JS/Ajax、使役Flash等。 使役Flash Google几年初就起始尝试抓取Flash内容了,简单书契性内容已经能抓取。Flash里面的链接也能被跟踪。 表格 Google蜘蛛也能填表,也能抓取POST烦请页面。这个久已能从日记入眼见。 JS/Ajax 使役JS链接一直以来被当作不搜引得擎友善的办法,故此可以阻挡蜘蛛爬行,但两三年初我就看见JS链接不得阻挡Google蜘蛛抓取,不单JS中出现的URL会被爬,简单的JS还能被执行找到更多URL。 不久前有人发现众多网站使役的Facebook述评插件里的述评被爬、被收录,插件本身是个AJAX。这是个好消息儿。我的一个实验电子商务网站产品述评功能就因此费了不少心力,用Facebook comments插件益处大大的,具体啥子益处之后有时间再说,唯一的问题就是述评是AJAX实行的,不得被抓取,而产品述评被收录是目标之一(萌生原创内容)。我当初想了半晌也没有解决办法,只好先痴呆地既放上Facebook comments插件又敞开购物车本身的述评功能。如今好了,Facebook comments里的述评能被收录,就无须两套述评功能了。 Robots文件 现下唯一确保内容不被收录的办法是robots文件禁阻。但也有个害处,会流失权重,虽然内容是不得收录了,但页面成了只接纳链接权重、不流出权重的无底洞。 Nofollow Nofollow并不得保障不被收录。就算自个儿网站所有指向页面的链接都加了NF,也不得保障他人网站不给这个页面弄个链接,搜引得擎仍然能发现这个页面。 Meta Noindex + Follow (11月3日补给)读者no1se提醒,为避免收录又能传送权重,可以在页面上使役meta noindex和 meta follow,这么页面不收录,但能流出权重。委实如此,也是个比较好的办法。也有一个问题,仍然会浪费蜘蛛爬行时间。哪位读者有能避免收录、又没有权重流失、又不浪费爬行时间的办法,请留言,对SEO界功德无量。 怎样使页面不被收录是个值当思考的问题,没意识到严重性的童鞋可以想想自个儿网站上有若干复制内容、低质量内容、各种无搜索价值(但用户感到便捷、有用所以又不得拿掉)的分类、过淋URL。 笔者: Zac@SEO每日一贴
|