编写脚本令Xtrabackup对MySQL数据进行备份的教程
Xtrabackup备份恢复原理
备份innodb表时,xtrabackup若干个线程拷贝独立表空间的.ibd文件,并不停监视此过程中redo log的变化,添加到自己的事务日志文件(xtrabackup_logfile)中。在此过程中,发生的物理写操作越多,xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段,xtrabackup采用类似于innodb崩溃恢复的方法,把数据文件恢复到与日志文件一致的状态,并把未提交的事务回滚。如果同时需要备份myisam表以及innodb表结构等文件,那么就需要用flush tables with lock来获得全局锁,开始拷贝这些不再变化的文件,同时获得binlog位置,拷贝结束后释放锁,也停止对redo log的监视。
很多同学对上面的理解有混淆,以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题,他应该会重新读取(应该也有重试次数,超过后备份不成功)。
其实这个原理很简单,了解下doublewrite就可以理解了“本段摘录自《MySQL技术内幕:InnoDB存储引擎》”:
如果说插入缓冲带给InnoDB存储引擎的是性能,那么两次写带给InnoDB存储引擎的是数据的可靠性。当数据库宕机时,可能发生数据库正在写一个页面,而这个页只写了一部分(比如16K的页,只写前4K的页)的情况,我们称之为部分写失效(partial page write)。在InnoDB存储引擎未使用double write技术前,曾出现过因为部分写失效而导致数据丢失的情况。
有人也许会想,如果发生写失效,可以通过重做日志进行恢复。这是一个办法。但是必须清楚的是,重做日志中记录的是对页的物理操作,如偏移量800,写“aaaa”记录。如果这个页本身已经损坏,再对其进行重做是没有意义的。这就是说,在应用(apply)重做日志前,我们需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是doublewrite。
一、下载和安装
XtraBackup现在最新版本为2.1.5,官方也提供了2.0的版本可供下载,官方链接地址:http://www.percona.com/software/percona-xtrabackup;可以下载源码编译安装,也可以下载适合的RPM包或使用yum进行安装。由于没有需要特殊定制的,因此建议直接使用RPM安装即可。
安装方法一:
下载RPM安装包:
wget http://www.percona.com/downloads/XtraBackup/LATEST/RPM/rhel6/x86_64/percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm
安装依赖:
[root@localhost ~]# yum install -y perl-DBD-MySQL perl-DBI perl-Time-HiRes libaio*
安装:
[root@localhost ~]# rpm -ivh percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm
Preparing... ########################################### [100%] 1:percona-xtrabackup ########################################### [100%]
安装方法二:
安装percona源:
[root@localhost ~]# rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm
使用yum安装percona-xtrabackup:
[root@localhost ~]# yum -y install percona-xtrabackup
查看安装结果:
[root@localhost ~]# rpm -qa |grep xtrabackup
percona-xtrabackup-2.1.5-680.rhel6.x86_64
[root@localhost ~]# rpm -ql percona-xtrabackup-2.1.5-680.rhel6.x86_64
/usr/bin/innobackupex /usr/bin/innobackupex-1.5.1 /usr/bin/xbcrypt /usr/bin/xbstream /usr/bin/xtrabackup /usr/bin/xtrabackup_55 /usr/bin/xtrabackup_56 /usr/share/doc/percona-xtrabackup-2.1.5 /usr/share/doc/percona-xtrabackup-2.1.5/COPYING
Xtrabackup中主要包含两个工具:
xtrabackup:是用于热备份innodb, xtradb表中数据的工具,不能备份其他类型的表,也不能备份数据表结构;
innobackupex:是将xtrabackup进行封装的perl脚本,提供了备份myisam表的能力。
二、备份脚本
#!/bin/sh #=================================================================================================== ## 备份工具: ## percona-xtrabackup-2.2.6 ## ## 备份策略: ## (1)、每天凌晨04:20点进行全量备份一次; ## (2)、每隔1小时增量备份一次; ## #=================================================================================================== PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin ## DB备份基路径 BACKUP_BASE_DIR="/data/mysql_backup" ## 增量备份时,用到的基准目录列表文件 ## 内容格式:基准目录|本次备份目录|备份类型【full|inc】 INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt" ## 备份工具路径 XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex" ## MySQL配置路径 MYSQL_CNF_PATH="/etc/my.cnf" ## 线程数 THREAD_CNT=6 #=================================================================================================== function print_help_info() { echo "--------------------------------------------------------------" echo "Usage: $0 full | inc | help" echo "--------------------------------------------------------------" echo "" exit 1 } [[ $# -lt 1 ]] && print_help_info [[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR} ## xtrabackup基础套件不存在时,进行自动下载安装 if [[ ! -e ${XTRABACKUP_PATH} ]]; then cd /usr/local wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6 rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup for FNAME in `ls -1t /usr/local/xtrabackup/bin` do rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME} done fi ## 只允许一个副本运行,以避免全量备份与增量备份出现交叉,发生数据错乱的可能性 ##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1 ## 目录名默认精确到分钟,为避免意外情况,导致备份任务失败,可以精确到秒 CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M` [[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S` #=================================================================================================== ## 全量备份 if [[ "$1" == "full" ]]; then ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH} echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST} ## 增量备份 elif [[ "$1" == "inc" ]]; then ## 基准目录列表文件不存在或者为空的情况,需要做一次全量备份 if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH} echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST} ## 不存在任何目录的情况,需要做一次全量备份,以避免增量备份失败 elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH} echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST} ## 在上一次备份的基础上,进行增量备份 else PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1 | awk -F '|' '{print $2}'` ## 上次的备份目录不存在或者目录为空的情况,以避免人为删除的可能性【针对部分恶意删除的情况,目前还没有较好的检查方法】 if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH} echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST} else ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR} echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST} fi fi elif [[ "$1" == "help" ]]; then print_help_info else print_help_info fi ## 删除2周前的数据备份 rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_* sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST} #=================================================================================================== ##The End #################################################################################################### ## 需要添加的crontab信息: ## (1)、全量备份 ## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1 ## ## (2)、增量备份 ## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1 ## #################################################################################################### #################################################################################################### ## DB数据恢复步骤: ## (1)、应用基准 ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full ## ## (2)、应用第一个增量备份 ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one ## ## (3)、应用第二个增量备份 ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two ## ## (4)、再次应用基准 ## innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full ## ## (5)、恢复 ## innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full ####################################################################################################
三、效果展示
相关文章
- 这篇文章主要介绍了MySQL性能监控软件Nagios的安装及配置教程,这里以CentOS操作系统为环境进行演示,需要的朋友可以参考下...2015-12-14
- 这篇文章主要为大家详细介绍了linux下源码安装mysql5.6.20教程的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2017-01-15
通过node-mysql搭建Windows+Node.js+MySQL环境的教程
这篇文章主要介绍了通过node-mysql搭建Windows+Node.js+MySQL环境的教程,node-mysql是JavaScript编写的一个Node的MySQL驱动,需要的朋友可以参考下...2016-03-03- 本篇文章主要介绍了Mac下安装mysql5.7 完整步骤,具有一定的参考价值,有兴趣的可以了解一下,...2017-01-26
- 这篇文章主要为大家详细介绍了Linux CentOS MySQL数据库的安装配置教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2017-05-19
- 如果我们使用Xampp服务器自带数据库mysql,就必须先修改mysql的密码,下面小编给大家分享如何修改Xampp服务器上的mysql密码,需要的朋友参考下吧...2017-04-26
- 这篇文章主要介绍了在windows10上安装mysql详细图文教程,本文介绍的非常详细,具有参考借鉴价值,感兴趣的朋友一起看看吧...2016-09-18
- 这篇文章主要为大家分享了win7下MySql 5.7安装配置方法图文教程,感兴趣的小伙伴们可以参考一下...2016-05-20
- 今天工作中需要对一台ubantu的系统安装mysql,因为以前一直使用的是centos,虽然它也是类unix但是和redhat或centos命令上还是有点差别。所以通过网上查阅资料,终于安装成功了,现在将步骤分享给大家,有需要的朋友们可以参考借鉴。...2016-10-20
- 这篇文章主要为大家详细介绍了linux上mysql安装详细教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2017-02-08
centos 6.5下 mysql-community-server. 5.7.18-1.el6安装
这篇文章主要介绍了centos 6.5下 mysql-community-server. 5.7.18-1.el6安装,需要的朋友可以参考下...2017-05-09Hibernate4在MySQL5.1以上版本创建表出错 type=InnDB
本文主要介绍解决Hibernate4在MySQL5.1自动创建表出错的方法,简单实用,需要的朋友可以参考下。...2016-06-12- 这篇文章主要介绍了MAC版修改MySQL初始密码的方法,非常不错,具有参考借鉴价值,需要的朋友可以参考下...2017-02-08
- 应一个朋友要求写了这个批处理程序,主要用途就是在win32系统中方便停止、开启、重启IIS、MySQL服务。 ...2016-01-27
- 这篇文章主要介绍了jQuery+PHP+MySQL实现无限级联效果的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2016-02-21
thinkphp3.x连接mysql数据库的方法(具体操作步骤)
这篇文章主要介绍了thinkphp3.x连接mysql数据库的方法,详细分析了thinkPHP3.x操作数据库的具体步骤,包括惯例配置文件设置,sql语句创建表以及针对数据库的数据插入操作等,需要的朋友可以参考下...2016-05-20- 这篇文章主要介绍了Centos下 修改mysql密码的方法,需要的朋友可以参考下...2017-03-14
IIS 环境下配置PHP5+MySql+PHPMyAdmin
虽然主要是做.net开发的,但是,时不时的还要搞一下php,但是,php在windows下的配置,总是走很多弯路,正好前几天又配置了一下,因此总结在这里,做为自己的备忘,也希望给遇到问题的朋友们提供一些帮助。...2016-01-27- 这篇文章主要为大家详细介绍了MySQL如何使用xtrabackup进行备份还原操作,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2016-12-02
个人网站留言页面(前端jQuery编写、后台php读写MySQL)
这篇文章主要为大家介绍了个人网站的留言页面,前端使用jQuery编写、后台利用php简单读写MySQL数据库,感兴趣的小伙伴们可以参考一下...2016-05-05