|
一,依据抓取规律来调试
在职通天下网站日记中,都能清楚的看见页面的抓取排行,url的抓取排行,这些排行最能直接的反响网站的那些局部是最受蜘蛛欢迎的。假如出现了众多css或js的文件都被大量的过访,那么页面中的链接就大大浪费了权重,所以需要修改robots文件赋予禁阻。查看职通天下网站日记,能表面化的看见那些被过渡抓取,那些重点内容抓取的较少,这样就能做到心中有数,可以有的放矢。譬如之前我的网站会莫名奥妙的多出一点抓取文件夹,而这些文件夹在网站中是并不存在的,所以要趁早发现,并赋予屏蔽。
二,引诱蜘蛛爬页面
蜘蛛访问网站的次数能侧面反响出网站自身的权重,普通小网站单个蜘蛛每日来访的次数约略在几十次。假如高于几十次,那么就说经过链接爬行到职通天下网站上的次数较多,那么抓取收录的机会便会大一点,对名次也是有积极的影响。假如每日来访一两次甚而零次,那么网站十分危险。我们要做好站内页面之间的链接,让蜘蛛多爬些页面,这样就能抓取理多的页面。
三,删除404页面
每个网站或多或少的都有404不对页面,视频招聘、视频简历、数字面试、职通天下这是必然性的现象。有时是空间上本身问题,有的是自身网站的设置问题,有的是外部网站存在外部链接的问题,从日记中一朝发现,就应当马上调试。若是抓取某个url404出奇多的话,需要在网站上开办这么一个url页面,也可以修改robots文件赋予屏蔽,禁阻抓取。大量的404不对会被蜘蛛记录下来,对网站是减分印象,所以会从群体上减低网站的权重。
|
|