百度蜘蛛的来路有哪些

大大丶便

　　一、百度蜘蛛的来路有哪些，它是怎么到你的网站的
　　通常来说，蜘蛛的可以通过三种途径到达你的网站，分别是主要提交网站，通过在其他网站的连接跟踪到你的网站，有一定规律的自由行动。
　　很多人都说现在蜘蛛很智能不用提交网站了，其实错了，是因为你在其他网站发布的外链引来的蜘蛛。这两种形式都是可操作的，最后一种比较特别，我们通常会认为蜘蛛会按照1-0，a-z 这样的方式对域名进行扫描，然后进入其中的网站。
　　二、最大程度的利用你的Robots，这是网站大门
　　按照常规的说法，Robots文件是限制蜘蛛在你网站的活动范围，更好的保护网站所有者的权利和隐私。这是蜘蛛到达一个网站后要做的第一件事情，如果一个网站没有该文件，蜘蛛则认为是该网站所有的内容均可挖掘。
　　在Robots文件中，一般只用到禁止(Disallow)。其实你还可以用推荐允许(Allow)。一个网站中有很多暗角是蜘蛛不能爬行到的，这时候，你可以用Allow指引蜘蛛，你可以多做一些地图页面，让蜘蛛在上面活动。
　　也有人说，为什么要用Allow,直接使用Sitemap不就可以了么。我们都知道，其实大家更看重的Sitemap，谷歌是完全没问题的，而百度蜘蛛理解起来是有一定问题的，不能很好的发挥他的作用。
　　三、百度蜘蛛在一个网站域内的活动方式
　　相信大家都看过百度给出的《搜索引擎优化指南》，郑州智启网路科技推荐没有看到的Seo们一看要去看看，他上面有提到自己更推荐的Url方式，树形和扁平。你只知道这样有助于优化，却不知道为什么这么做。
　　蜘蛛在一个特定域内遵循两个原则，广度和深度。其中我们认为广度优先，蜘蛛一般不会在一个特定域内在纵深上爬行太多。蜘蛛会在一个页面出来完成的时候再进入下一个内链信息丰富的页面。做成频道页和列表页，能够让蜘蛛更顺畅的去爬行一个网站。
　　其实不一定非要把一个网站做成domain/url_a/ 这种形式，也完全可以是domain/url_a.html 只要你的页面丰富程度和上一个一样就行。这里说的丰富不是内容，是内链。
　　四、百度蜘蛛在一个网站的权限等同于一个普通未注册会员
　　这个简单提一下，蜘蛛就等同于一个网站的未注册会员，他的权限就是这个，如果你的网站不对未注册会员开放，或者设置了隐私权限，只对会员的好友，或者其他什么，那么蜘蛛是不可能抓取到你的内容的。