分析蜘蛛只爬首页不爬内页的原因

Just lose

相信很多站长建站初期都遇到过一个问题：网站首页很快收录，但是久久不收录内容页。这是为什么呢？下面湖北成教网跟大家分享百度蜘蛛只爬首页不爬内页的原因。

首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？

蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。

“百度蜘蛛只爬网站的首页不爬内页”原因如下：

1、robots.txt，错误操作，屏蔽了内页。

2、群发等作弊行为。

3、服务器的原因。

4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。

5、网站质量太烂，权重极低。

6、网站维护的时候三天打鱼两天晒网。

7、网站超级新，新的一塌糊涂。

8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。

首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。那肯定就是上面8条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。

淡紫色星痕

楼主总结得不错，很给力！

zyhswp

  对估计是在沙盒中还

104团队

还好蛮好的啊。。。哈哈