浅谈网站日志分析对优化有什么帮助

mwb

  一、了解搜索引擎蜘蛛爬行次数
　　蜘蛛是搜索引擎派来抓取内容的机器人，了解蜘蛛爬行次数才知道我们的网站是否搜索引擎喜欢的，反之这个网站没什么继续抓取了，能够对比的来的次数的，对比的以前的四周的操作对比能够知道蜘蛛来的多少是哪些东西引起的是网站外链还是网站的更新，从而调整的网页，蜘蛛喜欢原创内容，要是都是一些直接复制粘贴过来的转载内容，下次也许蜘蛛就不会再来了，感觉这个网站就是某个网站的镜像站。
　　对于有害的蜘蛛我们要是的屏蔽的(屏蔽的蜘蛛的ip)蜘蛛也是很多种，要是哪天发现多次出现某个不明的蜘蛛IP网站却被降权或被K，那我们就得必须禁止这个蜘蛛的IP访问。
　　蜘蛛的大量访问能够增加服务器的资源，蜘蛛的频繁访问还是对网站有帮助的，但资源消耗也是很大，所以要找个好的空间商来放，不然一下子服务器垮了，那可能就不在通知你的情况下删除你的网站掉了。
　　百度俱乐部：看假冒蜘蛛的识别(为了偷取别的数据)，最重要的是百度蜘蛛都是显示北京那边的IP，如果是其它的地方就不是真正的蜘蛛了，也有降权和被K的蜘蛛，小心谨慎查看哦。
　　二、网站日志研究对于网站安全的作用：
    1、了解网站被盗链的情况如果有第三方网站调用我们网站的图片、视频或者网页文件，将会浪费我们的服务器资源，通过对日志的研究，可以很快发现这种问题。
    2、可初步分析网站是否被黑客植入程序如果黑客利用网站程序的一些BUG，通过植入代码的进行进行攻击破解的话，通过日志分析就有可能找到这种痕迹。
    3、可初步分析是否有程序在大量抓取数据搜索引擎或者第三方网站如果使用采集程序，大量反复采集我方网站数据，既会对服务器性能造成严重影响，而且会让我们的资料流转到其它网站上。通过分析日志数据，可以让我们发现这种采集现象。
　　三、http状态码的分析
　　蜘蛛抓取完毕后一般都留下了http状态码，返回的是200不代表会直接放出，有的是一个星期更新就放出，有的是一个月才放的，只要返回了这个代码，一般这个页面都会被放出的。
　　两个问题：
　　1.我们的做的错误页面应该返回404还是200?
　　应该返回404四正确的，因为这样的搜索引擎才知道的网页不能访问，如果是200的话，那就可能造成降权或是被K的情况了，代表这个网页还是可以抓取的，一旦发现大量的都是访问不了的，那就会给予惩罚，所以要做好404页面的。
　　2.如果我们的网站要备案，我们正在建设当中，我们因该返回那个状态码是500、还是400、还是404、还是500、还是503?
　　要返回503(503是告诉搜索引擎暂时不能访问，马上会恢复，如果返回其他的状态码可能搜索引擎就不会访问了，404页面是代表这个页面已经不存在了，那搜索引擎就会认为你的网站已经不存在了，就直接删除了，暂时的话下次会继续来抓取的。)
　　网站做了301永久重定向返回的代码却没有，那就得查询下是否设置的正确，不然权重就不会转移到新的域名去了，什么事情都要做好万无一失的。
http://www.wzbsl.com/   排毒养颜胶囊多少钱首发，转载注明出处