大数据的备份和恢复,始终是个难点,当MySQL超过10个G,那么备份整个过程变得非常难熬,而且也不利于数据备份和恢复。这时候,刚好出现一款备份MySQL的工具 innobackup,速度比mysqldump要快好多
一、Xtrabackup介绍
1、Xtrabackup是什么
Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。
Xtrabackup有两个主要的工具:xtrabackup、innobackupex
(1)、xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表。
(2)、 innobackupex是参考了InnoDB Hotbackup的innoback脚本修改而来的.innobackupex是一个perl脚本封装,封装了xtrabackup。主要是为了方便的 同时备份InnoDB和MyISAM引擎的表,但在处理myisam时需要加一个读锁。并且加入了一些使用的选项。如slave-info可以记录备份恢 复后,作为slave需要的一些信息,根据这些信息,可以很方便的利用备份来重做slave。
2、Xtrabackup可以做什么 :
在线(热)备份整个库的InnoDB、 XtraDB表在xtrabackup的上一次整库备份基础上做增量备份(innodb only)以流的形式产生备份,可以直接保存到远程机器上(本机硬盘空间不足时很有用)
MySQL数据库本身提供的工具并不支持真正的增量备份,二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。
Xtrabackup工具支持对InnoDB存储引擎的增量备份,工作原理如下:
**(1)首先完成一个完全备份,并记录下此时检查点的LSN(Log Sequence Number)。
(2)在进程增量备份时,比较表空间中每个页的LSN是否大于上次备份时的LSN,如果是,则备份该页,同时记录当前检查点的LSN。**
首 先,在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”),然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile;接着,开始拷贝全部的数据文 件.ibd;在拷贝全部数据文件结束之后,才停止拷贝logfile。
因为logfile里面记录全部的数据修改情况,所以,即时在备份过程中数据文件被修改过了,恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。
因为innobackupex支持innodb,myisam,所以本文说一下,怎么使用innobackupex。
二、安装xtrabackup
1、下载地址
http://www.percona.com/downloads/XtraBackup/
2、安装xtrabackup
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev-devel
rpm -ivh percona-xtrabackup-2.3.2-1.el6.x86_64.rpm
三、针对大数据进行测试备份和还原速度
我们先来看看当前数据库数据的大小:
du -sh /usr/local/mysql/data/
17G /usr/local/mysql/data/
1、通过innobackupex对17G全库进行备份
time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) /root/backup/
备份完成后会有如下提示,并且time命令会产生改命令耗时时间:
completed OK!
real 5m42.814s
user 1m0.350s
sys 2m8.940s
2、全库数据还原
其实下面的命令也是和备份速度一样的,这里就不概述时间了,备份和还原17G的库所需时间为12分钟(执行命令所需时间)。
/etc/init.d/mysqld stop #停止数据库
mv /usr/local/mysql/data /usr/local/mysql/data_bak #删除数据目录
mkdir -p /usr/local/mysql/data #新建数据目录
//--apply-log选项的命令是准备在一个备份上启动mysql服务
time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log /root/backup/2015-10-27_14-30-03/
//--copy-back 选项的命令从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置
time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --copy-back /root/backup/2015-10-27_14-30-03/
chown -R mysql:mysql /usr/local/mysql/data #对MySQL用户进行赋权
/etc/init.d/mysqld start #启动MySQL
四、MySQL进行增量备份
1、先对数据库进行全备
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) /root/backup/
2、创建测试库test1,在全量备份的基础上再进行增量备份
create database test1;
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --incremental-basedir=/root/backup/2015-10-27_15-47-26/ --incremental /root/backup/
3、创建测试库test2,在增量备份的基础上再进行增量备份
create database test2;
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --incremental-basedir=/root/backup/2015-10-27_15-49-17/ --incremental /root/backup/
4、查看所备份的文件
这边可以看到所备份的三个文件
[root@hongxue_216 backup]# ll /root/backup/
total 12
drwx------ 5 root root 4096 Oct 27 15:47 2015-10-27_15-47-26
drwx------ 6 root root 4096 Oct 27 15:49 2015-10-27_15-49-17
drwx------ 7 root root 4096 Oct 27 15:51 2015-10-27_15-51-15
该目录下面还可以看到LSN及backup status (增备|完备)
[root@hongxue_216 backup]# cat 2015-10-27_15-47-26/xtrabackup_checkpoints #全备下的文件
backup_type = full-backuped #状态为全备
from_lsn = 0 #开始的lsn
to_lsn = 22433423896
last_lsn = 22433423896 #结束的lsn
compact = 0
recover_binlog_info = 0
[root@hongxue_216 backup]# cat 2015-10-27_15-49-17/xtrabackup_checkpoints #第一次增备下的文件
backup_type = incremental
from_lsn = 22433423896
to_lsn = 22433423896
last_lsn = 22433423896
compact = 0
recover_binlog_info = 0
[root@hongxue_216 backup]# cat 2015-10-27_15-51-15/xtrabackup_checkpoints #第二次增备下的文件
backup_type = incremental
from_lsn = 22433423896
to_lsn = 22433423896
last_lsn = 22433423896
compact = 0
recover_binlog_info = 0
5、查看当前MySQL中的数据库,并进行模拟故障演练及还原
(1)、查看数据库中有哪些库
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| test |
| test1 |
| test2 |
+--------------------+
mysql>
进行增量还原数据库。
/etc/init.d/mysqld stop #停止数据库
rm -rf /usr/local/mysql/data/ #删除数据库
第一次还原
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/
第二次还原,带增量备份1
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ --incrementdir=/root/backup/2015-10-27_15-49-17/
第三次还原,带增量备份2
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ --incrementdir=/root/backup/2015-10-27_15-51-15/
下面执行最后一步,就是进行一次全量还原
创建数据目录
mkdir -p /usr/local/mysql/data #创建数据目录
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log /root/backup/2015-10-27_15-47-26/
innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --copy-back /root/backup/2015-10-27_15-47-26/
chown -R mysql:mysql /usr/local/mysql/data/ #对数据进行赋权
/etc/init.d/mysqld start #启动MySQL服务
还原完启动数据库之后查看有哪些库,以及是否被还原
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| test |
| test1 |
| test2 |
+--------------------+
6 rows in set (0.00 sec)
mysql>