分享搜索引擎抓取网页的过程

遇见风角

1、线性搜集策略
线形搜索策略的基本思想是从一个起始的IP地址出发，按IP地址递增的方式搜索后续的每一个IP地址中的信息，完全不考虑各站点的HTML文件中指向其他Web站点的超链地址。此策略不适用于大规模的搜索（主要原因在于IP可能是动态的），但可以用于小范围的全面搜索，利用此种策略的搜集器可以发现被引用较少或者还没有被其他HTML文件引用的新HTML文件信息源。
2、深度优先搜集策略
深度优先搜集策略是早期开发搜集器使用较多的一种方法，它的目的是要达到被搜索结构的叶结点。深度优先搜索顺着HTML文件上的超链走到不能再深入为止，然后返回到上一个接点的HTML文件，再继续选择该HTML文件中的其他超链。当不再有其他超链可选择时，说明搜索已经结束。深度优先搜索适宜遍历一个指定的站点或者深层嵌套的HTML文件集，但对于大规模的搜索，由于Web结构相当深，也许永远也出不来了
3、广度优先搜集策略
广度优先搜集策略是先搜索同一层中的内容，然后再继续搜索下一层。假如一个HTML文件中有三个超链，选择其中之一并处理相应的HTML文件（注意：这里的处理文件指的是对文件内容进行检索，文件上的其他超链接先不作处理），然后返回并选择刚才第一个网页的第二个超链，处理相应的HTML文件，再返回。一旦同一层上的所有超链都已被处理过，就可以开始在刚才处理过的HTML文件中搜索其余的超链。（广度链接的定义）
这样保证了对浅层的首先处理，当遇到一个无穷尽的深层分支时，也就不会再陷进去。宽度优先搜集策略容易实现并被广泛采用，但是需要花费比较长的时间才能到达深层的HTML文件
4、收录搜集策略
有些网页可以通过用户提交的方式进行搜集，例如某些商业网站向搜索引擎发出收录申请，搜集器就可以定向搜集提交申请网站的网页信息并加入到搜索引擎的索引数据库中。

生性凉薄

看的出来了解这么多