|
做网站优化最终的目的是获得关键词排名进而带来流量,而排名的基础就是要有收录,一个没有收录的网站,是不会有排名的。也就是说有蜘蛛进入你的网站爬行并抓取你的网站内容,你的网站猜可能一步一步被百度任性,获得好的排名,那么你懂得如何讨好蜘蛛吗?
每一位站长只要你的网站没有被严重降权,那么通过网站后台的服务器,你都可以发现勤劳的蜘蛛光顾你的站点,但是你们有没有想过从编写程序的角度上来分析,蜘蛛是怎么来的呢
有一种说法,说蜘蛛的抓取是从种子站(或叫高权重站),依照权重由高至低逐层出发的。另一种说法蜘蛛爬在URL集合中是没有明显先后顺序的,搜索引擎会根据你网站内容更新的规律,自动计算出何时是爬取你网站的最佳时机,然后进行抓取。
我们可以把所有的互联网看成一个有向集合的**体,蜘蛛由起始的URL集合A沿着网页中超链接开始不停的发现新页面。在这个过程中,每发现新的URL都会与集合A中已存的进行比对,若是新的URL,则加入集合A中,若是已在集合A中存在,则丢弃掉
从这一点来讲,就要求网站的内容质量高,并且没有重复性,若整个网站都是采集来的,就算蜘蛛抓去了,之后在对比小更新的时候被收录的内容也会被遗弃,久而久之,蜘蛛就会对你的网站不任性,甚至不在光顾。
|
|