前言
本文主要介绍三种冷备份的方式
暴力备份、mysqlsqldump、mydumper
说明
mysqldump 是mysql自身提供的工具,按照基本的命令即可使用,navicat中的导入导出用的就是这个
mydumper 是一个第三方工具,需要下载后安装,其速度是前者的10倍有余,但是会产生锁表问题
相关链接
mydumper官网:https://launchpad.net/mydumper
暴力备份
暴力备份就是将 mysql
的 data
目录整体备份。
需要注意的事,在备份和恢复的时候,停止mysql服务。等待完成后,在启动mysql服务,否则会由于 pid
的不一致,产生冲突等问题
mysqldump 工具
它的备份原理是通过协议连接到
MySQL
数据库,将需要备份的数据查询出来,将查询出的数据转换成对应的insert
语句,当我们需要还原这些数据时,只要执行这些insert
语句,即可将对应的数据还原。
备份命令
1 命令格式
mysqldump [选项] 数据库名 [表名] > 脚本名
或
mysqldump [选项] --数据库名 [选项 表名] > 脚本名
或
mysqldump [选项] --all-databases [选项] > 脚本名
2 选项说明
参数名 | 缩写 | 含义 |
---|---|---|
–host | -h | 服务器IP地址 |
–port | -P | 服务器端口号 |
–user | -u | MySQL 用户名 |
–pasword | -p | MySQL 密码 |
–databases | 指定要备份的数据库 | |
–all-databases | 备份mysql服务器上的所有数据库 | |
–compact | 压缩模式,产生更少的输出 | |
–comments | 添加注释信息 | |
–complete-insert | 输出完成的插入语句 | |
–lock-tables | 备份前,锁定所有数据库表 | |
–no-create-db/–no-create-info | 禁止生成创建数据库语句 | |
–force | 当出现错误时仍然继续备份操作 | |
–default-character-set | 指定默认字符集 | |
–add-locks | 备份数据库表时锁定数据库表 |
3 实例
备份所有数据库:
mysqldump -uroot -p --all-databases > /backup/mysqldump/all.db
备份指定数据库:
mysqldump -uroot -p test > /backup/mysqldump/test.db
备份指定数据库指定表(多个表以空格间隔)
mysqldump -uroot -p mysql db event > /backup/mysqldump/2table.db
备份指定数据库排除某些表
mysqldump -uroot -p test --ignore-table=test.t1 --ignore-table=test.t2 > /backup/mysqldump/test2.db
4、还原命令
4.1 系统行命令
mysqladmin -uroot -p create db_name
mysql -uroot -p db_name < /backup/mysqldump/db_name.db
注:在导入备份数据库前,db_name如果没有,是需要创建的; 而且与db_name.db中数据库名是一样的才可以导入。
4.2 soure 方法
mysql > use db_name
mysql > source /backup/mysqldump/db_name.db
mydumper 工具
1、备份原理
1、主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁,保证数据的一致性
2、读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中,以供即使点恢复使用
3、N个(线程数可以指定,默认是4)dump线程把事务隔离级别改为可重复读 并开启读一致的事物
4、dump non-InnoDB tables, 首先导出非事物引擎的表
5、主线程 UNLOCK TABLES 非事物引擎备份完后,释放全局只读锁
6、dump InnoDB tables, 基于事物导出InnoDB表
7、事物结束
2、该工具介绍
Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。
Mydumper主要特性:
轻量级C语言写的
多线程备份,备份后会生成多个备份文件
事务性和非事务性表一致的快照(适用于0.2.2以上版本)
快速的文件压缩
支持导出binlog
多线程恢复(适用于0.2.1以上版本)
以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本)
开源 (GNU GPLv3)
3、安装步骤
mydumper使用c语言编写,使用glibc库
mydumper安装所依赖的软件包,glibc, zlib, pcre, pcre-devel, gcc, gcc-c++, cmake, make, mysql客户端库文件1、安装依赖软件包,将mysql客户端库文件路径添加至/etc/ld.so.conf, 如/usr/local/mysql/lib
2、解压软件包进入目录,cmake
3、make && make install
# 安装依赖软件包
[root@VM-0-15-centos local]# yum -y install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake
# 我选择按照到了此目录
[root@VM-0-15-centos local]# pwd
/usr/local
# 下载软件
[root@VM-0-15-centos local]# wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
# 解压 tar 包
[root@VM-0-15-centos local]# tar zxf mydumper-0.9.1.tar.gz
# 进入到解压目录
[root@VM-0-15-centos local]# cd mydumper-0.9.1/
# 进行cmake编译
[root@VM-0-15-centos mydumper-0.9.1]# cmake .
# 进行编译和安装
[root@VM-0-15-centos mydumper-0.9.1]# make && make install
#安装完成后生成两个二进制文件mydumper和myloader位于/usr/local/bin目录下
[root@VM-0-15-centos mydumper-0.9.1]# ls /usr/local/bin/
composer iconv libmcrypt-config mcrypt mdecrypt mydumper myloader
mydumper 参数解释
-B, --database 要备份的数据库,不指定则备份所有库
-T, --tables-list 需要备份的表,名字用逗号隔开
-o, --outputdir 备份文件输出的目录
-s, --statement-size 生成的insert语句的字节数,默认1000000
-r, --rows 将表按行分块时,指定的块行数,指定这个选项会关闭 --chunk-filesize
-F, --chunk-filesize 将表按大小分块时,指定的块大小,单位是 MB
-c, --compress 压缩输出文件
-e, --build-empty-files 如果表数据是空,还是产生一个空文件(默认无数据则只有表结构文件)
-x, --regex 是同正则表达式匹配 'db.table'
-i, --ignore-engines 忽略的存储引擎,用都厚分割
-m, --no-schemas 不备份表结构
-k, --no-locks 不使用临时共享只读锁,使用这个选项会造成数据不一致
--less-locking 减少对InnoDB表的锁施加时间(这种模式的机制下文详解)
-l, --long-query-guard 设定阻塞备份的长查询超时时间,单位是秒,默认是60秒(超时后默认mydumper将会退出)
--kill-long-queries 杀掉长查询 (不退出)
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式,守护进程模式以某个间隔不间断对数据库进行备份
-I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下
-L, --logfile 使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
--tz-utc 跨时区是使用的选项,不解释了
--skip-tz-utc 同上
--use-savepoints 使用savepoints来减少采集metadata所造成的锁时间,需要 SUPER 权限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host 连接的主机名
-u, --user 备份所使用的用户
-p, --password 密码
-P, --port 端口
-S, --socket 使用socket通信时的socket文件
-t, --threads 开启的备份线程数,默认是4
-C, --compress-protocol 压缩与mysql通信的数据
-V, --version 显示版本号
-v, --verbose 输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为 2
myloader 参数解释
-d, --directory 备份文件的文件夹
-q, --queries-per-transaction 每次事物执行的查询数量,默认是1000
-o, --overwrite-tables 如果要恢复的表存在,则先drop掉该表,使用该参数,需要备份时候要备份表结构
-B, --database 需要还原的数据库
-e, --enable-binlog 启用还原数据的二进制日志
-h, --host 主机
-u, --user 还原的用户
-p, --password 密码
-P, --port 端口
-S, --socket socket文件
-t, --threads 还原所使用的线程数,默认是4
-C, --compress-protocol 压缩协议
-V, --version 显示版本
-v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
5、使用案例
备份 study
数据库库 到 /data/backup/mysql
文件夹中
# 备份命令
[root@VM-0-15-centos mysql]# mydumper -u root -p rootroot -P 3306 -h 127.0.0.1 -B study -o /data/backup/mysql/
# 查看备份内容
[root@VM-0-15-centos mysql]# ll
total 16
# 记录了备份数据库在备份时间点的二进制日志文件名,日志的写入位置
-rw-r--r-- 1 root root 137 Feb 17 16:35 metadata
# 库文件
-rw-r--r-- 1 root root 67 Feb 17 16:35 study-schema-create.sql
# 表结构文件
-rw-r--r-- 1 root root 497 Feb 17 16:35 study.user_test-schema.sql
# 表数据文件
-rw-r--r-- 1 root root 244 Feb 17 16:35 study.user_test.sql
**如果是在从库进行备份,还会记录备份时同步至主库的二进制日志文件及写入位置 **
恢复 study
数据库
# 先删除 study 数据库
mysql> drop database study;
Query OK, 1 row affected (0.09 sec)
# 恢复数据库
[root@VM-0-15-centos mysql]# myloader -u root -p rootroot -h 127.0.0.1 -B study -d /data/backup/mysql/
# 恢复成功
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| study |
| sys |
+--------------------+
5 rows in set (0.00 sec)
注意问题
在使用 mydumper 的时候,由于会产生一个全局锁防止写入,所以会导致备份过程总无法写入。
所以在使用的时候,要对用户提示一个短暂的维护提示