Mysql日常备份和增量备份脚本

光明使者

适合对象

本文是在linux下,mysql 4.1.14版本下测试的,经过适当修改可能适合mysql 4.0,5.0及其其他版本.

本文适合于没有启动复制功能的mysql,如果启动了复制,可能不需要采取这种备份策略或者需要修改相关参数.

每个人的备份策略都可能不同,所以请根据实际情况修改,做到举一反三,不要照搬照抄,可能会造成不必要的损失.

希望你明白这个脚本要干什么工作!


脚本描述

每7天备份一次所有数据,每天备份binlog,也就是增量备份.

(如果数据少,每天备份一次完整数据即可,可能没必要做增量备份)




开启 bin log

在mysql 4.1版本中,默认只有错误日志,没有其他日志.可以通过修改配置打开bin log.方法很多,其中一个是在/etc/my.cnf中的mysqld部分加入:

[mysqld]
log-bin

这个日志的主要作用是增量备份或者复制(可能还有其他用途).

如果想增量备份,必须打开这个日志.

对于操作频繁的,这个日志会变得很大,而且可能会有多个.

在数据库中flush-logs,或者使用mysqladmin,mysqldump调用flush-logs后并且使用参数delete-master-logs,这些日志文件会消失,并产生新的日志文件(开始是空的).

所以如果从来不备份,开启日志可能没有必要.

完整备份的同时可以调用flush-logs,增量备份之前flush-logs,以便备份最新的数据.


完整备份脚本

如果数据库数据比较多,我们一般是几天或者一周备份一次数据,以免影响应用运行,如果数据量比较小,那么一天备份一次也无所谓了.

1. 1.#!/bin/sh
   
2. 
   
3. 2.
   
4. 
   
5. 3. # mysql data backup script
   
6. 
   
7. 4. # by scud
   
8. 
   
9. 5. # 2005-10-30
   
10. 
    
11. 6. #
    
12. 
    
13. 7. # use mysqldump --help,get more detail.
    
14. 
    
15. 8. #
    
16. 
    
17. 9.
    
18. 
    
19. 10. BakDir=/backup/mysql
    
20. 
    
21. 11. LogFile=/backup/mysql/mysqlbak.log
    
22. 
    
23. 12.
    
24. 
    
25. 13. DATE=`date +%Y%m%d`
    
26. 
    
27. 14.
    
28. 
    
29. 15. echo " " >> $LogFile
    
30. 
    
31. 16. echo " " >> $LogFile
    
32. 
    
33. 17. echo "-------------------------------------------" >> $LogFile
    
34. 
    
35. 18. echo $(date +"%y-%m-%d %H:%M:%S") >> $LogFile
    
36. 
    
37. 19. echo "--------------------------" >> $LogFile
    
38. 
    
39. 20.
    
40. 
    
41. 21.
    
42. 
    
43. 22. cd $BakDir
    
44. 
    
45. 23.
    
46. 
    
47. 24. DumpFile=$DATE.sql
    
48. 
    
49. 25. GZDumpFile=$DATE.sql.tgz
    
50. 
    
51. 26.
    
52. 
    
53. 27. mysqldump --quick --all-databases --flush-logs
    
54. 
    
55. 28. --delete-master-logs --lock-all-tables
    
56. 
    
57. 29. > $DumpFile
    
58. 
    
59. 30.
    
60. 
    
61. 31. echo "Dump Done" >> $LogFile
    
62. 
    
63. 32.
    
64. 
    
65. 33. tar czvf $GZDumpFile $DumpFile >> $LogFile 2>&1
    
66. 
    
67. 34.
    
68. 
    
69. 35. echo "[$GZDumpFile]Backup Success!" >> $LogFile
    
70. 
    
71. 36.
    
72. 
    
73. 37. rm -f $DumpFile
    
74. 
    
75. 38.
    
76. 
    
77. 39. #delete previous daily backup files:采用增量备份的文件,如果完整备份后,则删除增量备份的文件.
    
78. 
    
79. 40. cd $BakDir/daily
    
80. 
    
81. 41.
    
82. 
    
83. 42. rm -f *
    
84. 
    
85. 43.
    
86. 
    
87. 44. cd $BakDir
    
88. 
    
89. 45.
    
90. 
    
91. 46. echo "Backup Done!"
    
92. 
    
93. 47.
    
94. 
    
95. 48. echo "please Check $BakDir Directory!"
    
96. 
    
97. 49.
    
98. 
    
99. 50. echo "copy it to your local disk or ftp to somewhere !!!"
    
100. 
     
101. 51.
     
102. 
     
103. 52. ls -al $BakDir
     

复制代码

上面的脚本把mysql备份到本地的/backup/mysql目录,增量备份的文件放在/backup/mysql/daily目录下.
注意:上面的脚本并没有把备份后的文件传送到其他远程计算机,也没有删除几天前的备份文件:需要用户增加相关脚本,或者手动操作.

增量备份
增量备份的数据量比较小,但是要在完整备份的基础上操作,用户可以在时间和成本上权衡,选择最有利于自己的方式.
增量备份使用bin log,脚本如下:

1. 1.#!/bin/sh
   
2. 
   
3. 2.
   
4. 
   
5. 3. #
   
6. 
   
7. 4. # mysql binlog backup script
   
8. 
   
9. 5. #
   
10. 
    
11. 6.
    
12. 
    
13. 7. /usr/bin/mysqladmin flush-logs
    
14. 
    
15. 8.
    
16. 
    
17. 9. DATADIR=/var/lib/mysql
    
18. 
    
19. 10. BAKDIR=/backup/mysql/daily
    
20. 
    
21. 11.
    
22. 
    
23. 12. ###如果你做了特殊设置,请修改此处或者修改应用此变量的行:缺省取机器名,mysql缺省也是取机器名
    
24. 
    
25. 13. HOSTNAME=`uname -n`
    
26. 
    
27. 14.
    
28. 
    
29. 15. cd $DATADIR
    
30. 
    
31. 16.
    
32. 
    
33. 17. FILELIST=`cat $HOSTNAME-bin.index`
    
34. 
    
35. 18.
    
36. 
    
37. 19. ##计算行数,也就是文件数
    
38. 
    
39. 20. COUNTER=0
    
40. 
    
41. 21. for file in $FILELIST
    
42. 
    
43. 22. do
    
44. 
    
45. 23. COUNTER=`expr $COUNTER + 1 `
    
46. 
    
47. 24. done
    
48. 
    
49. 25.
    
50. 
    
51. 26. NextNum=0
    
52. 
    
53. 27. for file in $FILELIST
    
54. 
    
55. 28. do
    
56. 
    
57. 29. base=`basename $file`
    
58. 
    
59. 30. NextNum=`expr $NextNum + 1`
    
60. 
    
61. 31. if [ $NextNum -eq $COUNTER ]
    
62. 
    
63. 32. then
    
64. 
    
65. 33. echo "skip lastest"
    
66. 
    
67. 34. else
    
68. 
    
69. 35. dest=$BAKDIR/$base
    
70. 
    
71. 36. if(test -e $dest)
    
72. 
    
73. 37. then
    
74. 
    
75. 38. echo "skip exist $base"
    
76. 
    
77. 39. else
    
78. 
    
79. 40. echo "copying $base"
    
80. 
    
81. 41. cp $base $BAKDIR
    
82. 
    
83. 42. fi
    
84. 
    
85. 43. fi
    
86. 
    
87. 44. done
    
88. 
    
89. 45.
    
90. 
    
91. 46. echo "backup mysql binlog ok"
    

复制代码

增量备份脚本是备份前flush-logs,mysql会自动把内存中的日志放到文件里,然后生成一个新的日志文件,所以我们只需要备份前面的几个即可,也就是不备份最后一个.
因为从上次备份到本次备份也可能会有多个日志文件生成,所以要检测文件,如果已经备份过,就不用备份了.
注:同样,用户也需要自己远程传送,不过不需要删除了,完整备份后程序会自动生成.
访问设置
脚本写完了,为了能让脚本运行,还需要设置对应的用户名和密码,mysqladmin和mysqldump都是需要用户名和密码的,当然可以写在脚本中,但是修改起来不太方便,假设我们用系统的root用户来运行此脚本,那么我们需要在/root(也就是root用户的home目录)创建一个.my.cnf文件,内容如下注:设置本文件只有root可读.(chmod 600 .my.cnf )

1. 1.[mysqladmin]
   
2. 
   
3. 2. password =password
   
4. 
   
5. 3. user= root
   
6. 
   
7. 4. [mysqldump]
   
8. 
   
9. 5. user=root
   
10. 
    
11. 6. password=password
    

复制代码

此文件说明程序使用mysql的root用户备份数据,密码是对应的设置.这样就不需要在脚本里写用户名和密码了.

自动运行
为了让备份程序自动运行,我们需要把它加入crontab.
有2种方法,一种是把脚本根据自己的选择放入到/etc/cron.daily,/etc/cron.weekly这么目录里.
一种是使用crontab -e放入到root用户的计划任务里,例如完整备份每周日凌晨3点运行,日常备份每周一-周六凌晨3点运行.