搜索引擎分词与索引

web66688

搜索引擎分词与索引看了。。心有体会。

网购那点事

分词是很多做SEO的人常听到的概念，为了让大家在这个方面不会有疑惑，现在要来讲一下分词以及索引库。这也是更深入的了解搜索引擎的开始。 搜索引擎每天都是在处理一个基本的需求：用户搜索一个关键词，搜索引擎马上找到相关的网页给用户。这个过程要怎么实现呢？ 下面就分步来了解这个过程。 首先搜索引擎要尽可能多的把互联网上的网页搜集下来，这样能提供大量的网页给用户查询。这一部分由爬虫来解决，顺着互联网上的链接一个个往下抓取。最后就有了一堆记录着网页各种信息的资料库。目前的现状，最后能使这个资料库里有大概100多亿个网页。资料库里记录了这些网页的URL，整个网页的HTML代码，网页标题等等信息。（这就是大家比较关心的收录问题，搜索引擎实质就是起到整合资源的媒介，所以一般收录不是seo的重点，比较搜索引擎是靠众多网页混饭吃的） 然后，搜索引擎拿到用户输入的这个关键词后，要从这个资料库里把相关的网页找出来给用户。这里就碰到好几个问题了： 1，要怎么快速的从上100亿个网页里找出匹配的网页的呢？ 要知道这是从上百亿的网页里找符合这个关键词内容的网页，如果像用word里那种用ctrl + F 轮询的查找方式的话，即使用超级计算机，也不知道要消耗多少时间。但是现在的搜索引擎，在几分之一秒里就实现了。所以一定是做了一些处理才实现的。 解决办法也倒简单，就是建立一份索引库。就像我们查《新华字典》一样，我们不会翻遍《新华字典》的每一页来查那个字在哪页，而是先去索引表那里找这个字，拿到页码后，直接翻到那页就可以了。搜索引擎也会为上百亿的网页建立一个索引库，用户查询信息的时候，是先到搜索引库里查一下要找的信息在哪些网页，然后就引导你去那些网页的。（这就是标题为什么重要的原因，正确的填写标题是进一步参加排名的前提） 如下图： 索引库 2，索引库里用什么样的分类方式？ 我们知道，《新华字典》的索引表是用字母列表或者偏旁部首的分类方式的。那么搜索引擎的索引库里是怎么分类的？是不是也可以用字母列表的方式？ 搜索引擎如果以字母列表的方式排列索引库，那么平均每个字母下要查询的网页数量是  100亿÷26＝3.85亿 ，也还是一个很大的数字。而且搜索引擎上，今天是100亿个网页，过不了多久就是300亿个网页了。 最后，终于找到一个解决办法：索引库里用词语来分类。 因为尽管互联网上的网页是不断激增的，但是每一种语言里，词语的数量都是相对固定的。比如英语就是一百多万个单词，100亿 ÷ 1百万 =  1 万；汉语是8万多个词语，100亿÷8万=12万5千。都是计算机很容易处理得过来的。 用词语来分类还有一个好处，就是可以匹配用户查询的那个词语。本来用户就是要查这个词语的，那我就按这个词语去分类就是。 所以，搜索引擎的索引库，最后就是这个样子的： 模拟的索引库 理论上，当用户输入关键词“mp3 player”搜索时，搜索引擎就从 “mp3”那行 和 “player”那行里拿出同时都有的、交集的url来即可。 当搜索引擎把一个网站抓取下来后，接着要做的事情就是把网页里的词语分开放到索引库里。分词在这个时候就要应用到了，所谓的分词，其实很简单，就是把词语分开而已。 英语的分词好处理一点，因为英语的每个单词之间是用空格分开的，基本上就只要处理一些虚词、介词，还有一些词语的单复数，变形词等等。但是中文的分词就复杂很多了，句子中的每个字都连在一起，有时候即使是人来判断，都还有产生歧义的时候。中文的分词有很多方法，也很容易弄懂的，如正向切分法，逆向切分法等等，网上有很多相关的资料。 谷歌的中文分词方法是从国外一家第三方公司买的。百度的分词方法是自己创立的，可能在词库上面比谷歌有点优势。不过其他方面差了一些。 当爬虫找到一个网页的时候，在搜索引擎看来，这个网页就是一大堆词语的组合。基本流程如下： 搜索引擎的处理过程 看完这个流程图，应该能给大家在做内部优化的时候有所启发的。 一定要站在搜索引擎的角度，把它的这些原理了解清楚了，才会让你明白哪些因素才是你应该关注的重点。 有人说: SEO就是重在细节。这应该是经验之谈。但是不知道大家有没有想过的是：是不是可能原本这些看似细节的东西，其实就是应该注意的重要的东西呢？如果你不能控制好你的排名，有没有想过可能你以前特别在意的一些SEO因素，其实有些并不是重点？；而只是你把影响排名的部分因素弄错了？ 或许很多人认为这种理论的东西对seo没什么实际用处，其实不然，做seo能不了解se么？在了解了搜素引擎的工作原理以后才能有针对性的做seo。 以上内容转自国平的一家之言博客，只做交流使用。本文章提供者:[url]www.kushicntv.com[/url] 整理，谢谢！

changweikecom

这个  分词  看你怎么分呢

我很无语了

感谢楼主分享了。