SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹

竹子

百度蜘蛛，英文名是“Baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
什么是IIS日志
首先，Internet Information Server的缩写为（IIS）是一个World Wide Web server。Gopher server和FTP server全部包容在里面。 IIS意味着你能发布网页，并且有ASP（Active Server Pages）、JAVA、VBscript产生页面，有着一些扩展功能。IIS支持一些有趣的东西，象有编辑环境的界面（FRONTPAGE）、有全文检索功能的（INDEX SERVER）、有多媒体功能的（NET SHOW）其次,IIS是随Windows NT Server 4.0一起提供的文件和应用程序服务器，是在Windows NT Server上建立Internet服务器的基本组件。它与Windows NT Server完全集成，允许使用Windows NT Server内置的安全性以及NTFS文件系统建立强大灵活的Internet／Intranet站点。
很多时候，SEOer在优化的时候，会遇种种的问题，比如，网站的空间是否稳定，网站的内容是否得到蜘蛛的青睐，蜘蛛爬行的频率，网站的排名为什么会下降，这些问题，我们都可以通过IIS日志来分析，有利利于帮助网站的排名。
IIS日志的作用：
通过站点的IIS日志我们可以了解搜索引擎对我们站点的爬行情况，包括搜索引擎的爬行轨迹和爬行量，进而分析出我们建设的外链对爬行的影响，我们把外链形容为搜索引擎蜘蛛进入我们站点的入口，同时IIS记录则会记录下搜索引擎蜘蛛从入口爬入的记录。站点的更新频率与搜索引擎的抓取频率存在着一定的关系，一般来说，更新的频率高则搜索引擎爬行得越勤。我们可以利用IIS日志中的搜索引擎爬行频率进行内容更新的微调。通过IIS日志可以体现出站点的空间存在着某些目前外表所不能识别的错误，而这些错误可以第一时间由IIS日志反映出来。我们可以通过日志及早的发现问题并解决问题。同时通过IIS日志我们可以分析出我们的内容中，有什么是搜索引擎所青睐的，什么是搜索引擎正眼不瞧的。通过这些数据进行内容的微调。通过站点的IIS日志SEOer可以了解搜索引擎对我们网站的爬行情况。
SEOer如何通过IIS日志查看和分析百度蜘蛛的痕迹
日志的在IIS中是很重要的，但是很多人却忽略了，在这里说说，日志格式建议使用W3C扩充日志文件格式，这也是IIS 5.0默认的格式，可以指定每天记录客户IP地址、用户名、服务器端口、方法、URI资源、URI查询、协议状态、用户代理，每天要审查日志。如图1所示。
IIS 5.0的WWW日志文件默认位置为%systemroot%\system32\logfiles\w3svc1\，对于绝大多数系统而言（如果安装系统时定义了系统存放目录则根据实际情况修改）则是C:\winnt\system32\logfiles\w3svcl\，默认每天一个日志。建议不要使用默认的目录，更换一个记录日志的路径，同时设置日志访问权限，只允许管理员和SYSTEM为完全控制的权限。 日志文件的名称格式是：ex+年份的末两位数字+月份+日期，如2002年8月10日的WWW日志文件是ex020810.log。IIS的日志文件都是文本文件，可以使用任何编辑器打开，例如记事本程序。下面列举说明日志文件的部分内容。每个日志文件都有如下的头4行：上面各行分别清楚地记下了远程客户端的IP地址、连接时间、端口、请求动作、返回结果（用数字表示，如页面不存在则以404返回）、所使用的浏览器类型等信息。
IIS的FTP日志文件默认位置为%systemroot%\system32\logfiles\MSFTPSVC1\，对于绝大多数系统而言（如果安装系统时定义了系统存放目录则根据实际情况修改）则是C:\winnt\system32\logfiles\ MSFTPSVC1\，和IIS的WWW日志一样，也是默认每天一个日志。日志文件的名称格式是：ex+年份的末两位数字+月份+日期，如2002年8月10日的WWW日志文件是ex020810.log。它也是文本文件，同样可以使用任何编辑器打开，例如记事本程序。和IIS的WWW日志相比，IIS的FTP日志文件要丰富得多。下面列举日志文件的部分内容。
有经验的用户可以通过这段FTP日志文件的内容看出，来自IP地址210.12.195.2的远程客户从2002年7月24日3：15开始试图登录此服务器，先后换了4次用户名和口令才成功，最终以administrator的账户成功登录。这时候就应该提高警惕，因为administrator账户极有可能泄密了，为了安全考虑，应该给此账户更换密码或者重新命名此账户。
如何辨别服务器是否有人曾经利用过UNICODE漏洞入侵过呢？可以在日志里看到类似如下的记录：如果入侵者技术比较高明，会删除IIS日志文件以抹去痕迹，这时可以到事件查看器看来自W3SVC的警告信息，往往能找到一些线索。
本文有http://www.seopassword.com 整理