WordPress搜索引擎爬行记录代码

天外飘仙

　　写博客也有一段时间了，为什么搜索引擎迟迟不收录你的页面呢？想知道每天都有哪些蜘蛛“拜访”你的网站吗？作为一名wordpress用户，有必要知道每天都有哪些蜘蛛爬行过你的网站，以便于了解各搜索引擎蜘蛛爬行频率，对网站进行针对性的SEO优化。
　　其实很简单，只要添加以下代码，然后再调用文件代码就OK了，是不是很方便呢？那就开始行动吧。
　　之前我也找过几个蜘蛛爬行记录工具PHP版，结果都不尽人意。而且这些PHP程序大多要进行安装，还要将蜘蛛爬行记录添加到MYSQL中，未免太麻烦。那就寻找一个简易的蜘蛛爬行记录器吧~



　　googlebot
1.首先，在wordpress主题根目录建立一个robots.php文件，写入以下内容：

1. <?php
   
2. function get_naps_bot()
   
3. {
   
4. $useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);
   
5. if (strpos($useragent, \’googlebot\’) !== false){
   
6. return \’Googlebot\’;
   
7. }
   
8. if (strpos($useragent, \’msnbot\’) !== false){
   
9. return \’MSNbot\’;
   
10. }
    
11. if (strpos($useragent, \’slurp\’) !== false){
    
12. return \’Yahoobot\’;
    
13. }
    
14. if (strpos($useragent, \’baiduspider\’) !== false){
    
15. return \’Baiduspider\’;
    
16. }
    
17. if (strpos($useragent, \’sohu-search\’) !== false){
    
18. return \’Sohubot\’;
    
19. }
    
20. if (strpos($useragent, \’lycos\’) !== false){
    
21. return \’Lycos\’;
    
22. }
    
23. if (strpos($useragent, \’robozilla\’) !== false){
    
24. return \’Robozilla\’;
    
25. }
    
26. return false;
    
27. }
    
28. function nowtime(){
    
29. $date=gmdate(\”Y-n-j H:i:s\”,time()+8*3600);
    
30. return $date;
    
31. }
    
32. $searchbot = get_naps_bot();
    
33. if ($searchbot) {
    
34. $tlc_thispage = addslashes($_SERVER[\'HTTP_USER_AGENT\']);
    
35. $url=$_SERVER[\'HTTP_REFERER\'];
    
36. $file=\”robotslogs.txt\”;
    
37. $time=nowtime();
    
38. $data=fopen($file,\”a\”);
    
39. fwrite($data,\”Time:$time robot:$searchbot URL:$tlc_thispage\\n\”);
    
40. fclose($data);
    
41. }
    
42. ?>

复制代码

将其上传于你的主题目录内。
　　2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。

1. <?php include(\’robots.php\’) ?>

复制代码

程序原理：通过对蜘蛛标识符（如Baiduspider、Googlebot）的判断，记录蜘蛛爬行时间，并生成日志文件robotslogs.txt于根目录。
　　程序缺点：无法记录蜘蛛爬行的页面，功能较为简单。
　　查看更多 wordpress教程 wordpress主题