记一次MySQL迁移过程

• 环境说明

• 迁移需求

新建DatabaseC,将DatabaseA和DatabaseB的数据迁移到DatabaseC,其中DatabaseA/B仅部分表需保留数据,其余表保留结构即可

• 业务停机时间

业务允许停机时间最长为2小时

a.第一次迁移测试

本次迁移为了搭建测试环境供业务测试使用,对数据准确性无要求,受硬件条件以及时间需求限制,无法采用物理备份/复制等手段,采用mysqldump进行拆分导出导入

• 导出数据

mysqldump -uxxx  -pxxxx -S xxxx--set-gtid-purged=OFF   --single-transaction db `cat tab_list.txt` >table.sql

• 恢复数据

Set names utf8mb4;

Sourcetable.sql

尽管通过人为拆分为并行导出导入,但导入时会创建大量索引,索引创建过程无法并行,总体耗时约40h,无法满足业务需求.

        b.第二次迁移测试

本次迁移测试采用传输表空间,过程大致如下

• 备份结构

mysqldump -uxx  -pxx -S xx  --set-gtid-purged=OFF -d dbname  > table_Structure.sql

mysqldump -uxx  -pxx -S xx   -n -t-d -R --triggers=false --set-gtid-purged=OFF  dbname >procedure.sql

• 恢复表结构

Set names utf8mb4;

Source table_Structure.sql

Sourceprocedure.sql

• 替换表空间

• 分离ibd文件

Alter table xxx discard tablespace;

• 传输idb文件

scp `cat table_list.txt` 10.25.225.243:/mysqldata/mysql/data/material

• 导入idb文件

• Alter table xxx import tablespace;

测试耗时约6h,让仍然无法满足业务要求,分析瓶颈在以下两方面:

1. 传输文件通过千兆网络,耗费大量时间

2. import tablespace过程中, mysql需要更新ibd文件每个page的lsn,产生大量IO操作,耗时较多;

c.第三次测试

• 物理备份

对A/B数据库进行物理备份

innobackupex --user=xx -pxx --socket=xx  --no-timestamp  ./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc1/--incremental-basedir=./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc2/--incremental-basedir=./inc/inc1

• 恢复备份

使用备份恢复databaseB

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-onlyfull/  &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec0/ full/ &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec1/ full/

• 升级database c

mysql_upgrade --upgrade-system-tables  -uroot -pxxx

• 恢复database A到database C

恢复过程同第二次迁移测试,此处使用物理备份的ibd文件进行导入.

• 清理多余的数据

Truncatetable xxx;

• 配置复制

通过物理备份获取gtid相关信息,并配置两个复制通道,分别为databaseA和databaseB复制数据

reset master;

SET@@GLOBAL.GTID_PURGED=xxxxxx,xxxxxxx;

change master to

master_host=xxx,

MASTER_PORT=xx,

master_user=repl,

master_password=xx,

master_auto_position=1

FOR CHANNEL chnl1;

通过以上方式,业务停机时间仅为应用修改切换连接串时间,仅需几分钟即可,满足业务需求。