找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1426|回复: 2

[杂谈] 如何从服务器获取网站日志?

[复制链接]
发表于 2013-5-13 16:32:36 | 显示全部楼层 |阅读模式 来自 中国–浙江–杭州
本帖最后由 亚克 于 2013-5-13 16:33 编辑

  搜索引擎抓取网站信息必会在服务器上留下信息,这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况,一般通过主机服务商开通日志功能,再通过FTP访问网站的根目录,在根目录下可以看到一个log或者weblog文件夹,这里面就是日志文件,我们把这个日志文件下载下来,用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息,那么到底这个日志给我们传递了什么内容呢?下面先做一个简单的说明。

  日期:这将让你一天搜索引擎抓取速度的发展趋势进行分析。

  被爬取文件:这将告诉你哪些被抓取的目录和文件,并在某些路段或类型的内容可以帮助查明问题。

  状态码:(只列出常见到并能直接反正网站问题的状态码)

  200状态码:请求已成功,请求所希望的响应头或数据体将随此响应返回。

  302状态码:请求的资源现在临时从不同的URI响应请求。

  404状态码:请求失败,请求所希望得到的资源未被在服务器上发现。

  500状态码:服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。

  - - 提供了哪些网页被爬虫运行到并反应出什么样的问题。

  从哪里来:虽然这不一定是有用的分析搜索机器人,它是非常有价值的,其他的流量分析。

  哪种爬虫:这个会告诉你哪个搜索引擎爬虫在你的网页上运行的。

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

发表于 2013-5-13 16:33:37 | 显示全部楼层 来自 中国–浙江–杭州
我用的是虚拟空间,直接去空间管理后台下载

评分

参与人数 1金币 +5 收起 理由
抢楼评分专号 + 5 很幸运,你获得了抢楼奖励!

查看全部评分

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

发表于 2013-5-13 21:10:54 | 显示全部楼层 来自 中国–北京–北京–朝阳区
分析日志主要就看爬虫有没有爬过。

评分

参与人数 1金币 +3 收起 理由
抢楼评分专号 + 3 很幸运,你获得了抢楼奖励!

查看全部评分

发帖求助前要善用【论坛搜索】功能,那里可能会有你要找的答案;

如何回报帮助你解决问题的坛友,好办法就是点击帖子下方的评分按钮给对方加【金币】不会扣除自己的积分,做一个热心并受欢迎的人!

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 需要先绑定手机号

关闭

站长推荐上一条 /1 下一条

QQ|侵权投诉|广告报价|手机版|小黑屋|西部数码代理|飘仙建站论坛 ( 豫ICP备2022021143号-1 )

GMT+8, 2024-12-19 06:51 , Processed in 0.066627 second(s), 14 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表