mysql 如何动态修改复制过滤器
MySQL动态修改复制过滤器
说说今天遇到的问题吧,今天在处理一个业务方的需求,比较变态,我大概描述一下:
1、线上的阿里云rds上面有个游戏的日志库,里面的表都是日表的形式,数据量比较大了,每次备份的时候,都会导致线上的rds报警,报警内容是IO资源占用过多。
2、这个rds上有一个本地的ECS只读从库,这个只读从库会实时同步线上的rds数据库中的数据,这个只读从库供业务方查询使用
3、业务方说这些数据都还有用,只读从库上的数据必须有,线上rds上的数据可以删除,保留两个星期即可。
场景就是这么个场景,DBA想要解决报警这个问题,业务方想要保证拥有完整的数据。请问,怎么解决?
当时看到这个问题,我想骂人,这需求一看就不合理,哪儿有删除一个库,另外一个库上还保留的道理,况且都是些日志数据,不直接搞个冷备份,然后删除线上,搞这么一出干啥啊。但是啊,怎么说也没有缓和的余地,于是就开始思考这个问题应该怎么解决。我想到的解决办法有以下几个:
1、扩容,提升性能。数据量大,扩磁盘呗,IO使用率高,提升性能么,这是最直接的解决办法,也是最贵的解决办法,首先被砍掉。
2、先备份再删除再还原。rds主库上提前备份日表数据,然后删除数据,此时从库会同步删除数据,然后再将第一步备份的数据还原到从库上。这个办法从可行性上来讲是可以的,因为保证了没有数据丢失。但是操作起来比较麻烦,手续太多,不够方便。
3、使用replicate-ignore-table参数进行对于指定的表进行过滤。设置了这个参数,可以让你过滤指定数据表的所有操作。我们看看官方文档对这个参数的描述,给个链接:https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-wild-ignore-table
描述如下:
Creates a replication filter which keeps the slave thread from replicating a statement in which any table matches the given wildcard pattern. To specify more than one table to ignore, use this option multiple times,
上面的意思是你可以使用这个参数创建一个过滤器,从而过滤掉匹配你制定的规则的特定表的操作(听着很绕口),就是说你可以制定过滤规则,加入规则中制定了表a,那么表a的操作就不会同步到从库中了。
这和我们的需求符合,也就是我们如果设置了要过滤的表,那么当我们进行删除表操作的时候,从库中不会对表进行删除,就实现了我们想要的结果。测试一下这个功能吧:
首先我们创建数据库test_ignore,然后在其中创建表:
主库上操作:
mysql :test_ignore >>show tables; Empty set (0.00 sec) mysql :test_ignore >>create table aaa (id int not null); Query OK, 0 rows affected (0.19 sec) mysql :test_ignore >>create table aab (id int not null); Query OK, 0 rows affected (0.01 sec) mysql :test_ignore >>create table aac (id int not null); Query OK, 0 rows affected (0.00 sec) mysql :test_ignore >>create table aad (id int not null); Query OK, 0 rows affected (0.01 sec) mysql :test_ignore >>create table aae (id int not null); Query OK, 0 rows affected (0.01 sec)
从库上查看:
mysql :test_ignore >>show tables; +-----------------------+ | Tables_in_test_ignore | +-----------------------+ | aaa | | aab | | aac | | aad | | aae | +-----------------------+ 5 rows in set (0.00 sec)
发现已经同步过来了。此时是处于主从同步状态,如果现在我们在主库上删除表,那么从库上的表一定会删除,这不是我们想要的结果。
很显然,接下来的一步是配置replicate-wild-ignore-table这个参数了,一般情况下,我们需要通过停止从库的服务进行my.cnf文件的配置,如果我们要配置多个表,则需要在my.cnf文件中写多条通配的记录。例如,在本例子中,需要配置该参数的值为test_ignore.aa%,其中%代表通配符,也就是说,test_ignore数据库中形如aa%这种格式的表操作都会被过滤掉。而我们创建的表aaa、aab、aac、aad、aae都是形如这种的,所以针对这几个表的操作一定不会同步到从库了,我们测试一下:
首先查看当前的复制状态:
双Yes状态,说明复制关系没有问题
主库进行操作:
mysql :test_ignore >>drop table aaa; Query OK, 0 rows affected (0.01 sec) mysql :test_ignore >>drop table aab; Query OK, 0 rows affected (0.00 sec)
从库上进行查看:
mysql :test_ignore >>show tables; +-----------------------+ | Tables_in_test_ignore | +-----------------------+ | aaa | | aab | | aac | | aad | | aae | +-----------------------+ 5 rows in set (0.00 sec)
从库上的表还在,说明主库上的操作没有被同步到从库,我们配置的参数
replicate-wild-ignore-table=test_ignore.aa%
起作用了。此时,如果我们在主库上创建一个表:
`主库` mysql :test_ignore >>create table aaf(id int); Query OK, 0 rows affected (0.00 sec) `从库` mysql :test_ignore >>show tables; +-----------------------+ | Tables_in_test_ignore | +-----------------------+ | aaa | | aab | | aac | | aad | | aae | +-----------------------+ 5 rows in set (0.00 sec)
发现从库并没有同步主库的表aaf,因为aaf也匹配了test_ignore.aa%这条规则。
利用这个特性,我们能够很好的解决这个业务场景,也就是主库删除,从库保留数据。但是,这里要说但是了,这个方法有一个比较严重的问题,就是每次都需要重启从库,如果我们需要配置第二条规则,第三条规则,则需要重启从库2次,3次,这个过程中,从库对于业务方是不可见的,如果无法访问,很可能造成程序报错,这是我们不能忍受的。
这个过程肯定是要解决的,怎么解决呢?能不能找到不停机就能修改复制过滤器的方法?找找官方文档。
果然,停机是不可能停机的,这辈子都不可能停机。官方文档中有这么一句话:
You can also create such a filter by issuing a CHANGE REPLICATION FILTER REPLICATE_WILD_IGNORE_TABLE statement.
我去,这是个啥语句,表示从来没有用过,可以通过在线变更复制过滤器的方法来对过滤器进行修改,看看官方文档中的介绍:
看到了一个神奇的语句,赶紧来试试:
mysql :test_ignore >>change replication filter replicate_wild_ignore_table=('test_ig%.aa%'); ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first mysql :test_ignore >>stop slave; Query OK, 0 rows affected (0.00 sec) mysql :test_ignore >>change replication filter replicate_wild_ignore_table=('test_ig%.aa%'); Query OK, 0 rows affected (0.00 sec) mysql :test_ignore >>start slave; Query OK, 0 rows affected (0.01 sec)
直接使用,提示需要stop slave sql_thread,想想也能理解,不停止复制直接修改复制的规则好像有点不妥,索性停止了整个复制,然后重新修改复制过滤器,妥了,成功执行,开启复制,一套操作行云流水。
再来看看复制关系中的状态:
忽略的表规则已经变成了test_ig%.aa%,也就是说,以test_ig开头的数据库中以aa开头的表的操作,都不会被同步到从库,包括对表的alter和drop以及create操作。
但这里,方案就出来了,我们知道,日表一般是YYYYMMDD这种形式的,我们只要过滤YYYYMM%这种格式的日表,然后在主库上对它进行删除,这个操作将不会被同步到从库,那么这个问题就可以顺利解决了。
当然,除了这个方案之外,还有一些方案,例如:
如果业务容忍部分数据丢失,我们还可以使用关闭binlog---删表---打开binlog的方式使得从库不会同步主库的drop操作;
线上所有的日表操作都配置成ignore,然后利用触发器将日表中的更新同步到从库中;
这一系列的操作,其实不是从本质上解决问题,本质上还是业务设计的问题,日表中的打点日志太多,可以适当减少这些打点日志,对于打点日志,需要确定保留周期,过期的日志,需要及时清理,保证服务器的指标和性能。
以上就是mysql 如何动态修改复制过滤器的详细内容,更多关于MySQL动态修改复制过滤器的资料请关注猪先飞其它相关文章!
相关文章
- 这篇文章主要介绍了MySQL性能监控软件Nagios的安装及配置教程,这里以CentOS操作系统为环境进行演示,需要的朋友可以参考下...2015-12-14
- 新版 Mysql 中加入了对 JSON Document 的支持,可以创建 JSON 类型的字段,并有一套函数支持对JSON的查询、修改等操作,下面就实际体验一下...2016-08-23
深入研究mysql中的varchar和limit(容易被忽略的知识)
为什么标题要起这个名字呢?commen sence指的是那些大家都应该知道的事情,但往往大家又会会略这些东西,或者对这些东西一知半解,今天我总结下自己在mysql中遇到的一些commen sense类型的问题。 ...2015-03-15- 这篇文章主要介绍了MySQL 字符串拆分操作(含分隔符的字符串截取),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-22
- 一、先说一下为什么要分表:当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。根据个人经验,mysql执行一个sql的过程如下:1...2014-05-31
- 我们自己鼓捣mysql时,总免不了会遇到这个问题:插入中文字符出现乱码,虽然这是运维先给配好的环境,但是在自己机子上玩的时候咧,总得知道个一二吧,不然以后如何优雅的吹牛B。...2015-03-15
- 这几天在centos下装mysql,这里记录一下安装的过程,方便以后查阅Mysql5.5.37安装需要cmake,5.6版本开始都需要cmake来编译,5.5以后的版本应该也要装这个。安装cmake复制代码 代码如下: [root@local ~]# wget http://www.cm...2015-03-15
- 宿主机使用网线的时候,客户机在Bridged Adapter模式下,使用Atheros AR8131 PCI-E Gigabit Ethernet Controller上网没问题。 宿主机使用无线的时候,客户机在Bridged Adapter模式下,使用可选项里唯一一个WIFI选项,Microsoft Virtual Wifi Miniport Adapter也无法上网,故弃之。...2013-09-19
- 首先要声明一点,大部分情况下,修改MySQL密码是需要有mysql里的root权限的...2013-09-11
- MySQL命令行导出数据库: 1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录 如我输入的命令行:cd C:/Program Files/MySQL/MySQL Server 4.1/bin (或者直接将windows的环境变量path中添加该目录) ...2013-09-26
- 一、连接Mysql格式: mysql -h主机地址 -u用户名 -p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口,然后进入目录mysql/bin,再键入命令mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是密...2015-11-08
- Navicat for MySQL注册码用来激活 Navicat for MySQL 软件,只要拥有 Navicat 注册码就能激活相应的 Navicat 产品。这篇文章主要介绍了Navicat for MySQL 11注册码\激活码汇总,需要的朋友可以参考下...2020-11-23
- 这篇文章主要介绍了mysql IS NULL使用索引案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-14
- 这篇文章主要介绍了基于PostgreSQL和mysql数据类型对比兼容,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-25
- 一、准备编译环境,安装所需依赖包yum groupinstall 'Development' -y yum install openssl openssl-devel zlib zlib-devel -y yum install readline-devel pcre-devel ncurses-devel bison-devel cmake -y二、编译安...2015-10-21
Mysql中 show table status 获取表信息的方法
这篇文章主要介绍了Mysql中 show table status 获取表信息的方法的相关资料,需要的朋友可以参考下...2016-03-12- 这篇文章主要为大家分享了20分钟MySQL基础入门教程,快速掌握MySQL基础知识,真正了解MySQL,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2016-12-02
- 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由数据库(database)、集合(collection)、文档对象(document)三个层次组成。MongoDB对于关系型数据库里的表,但是集合中没有列、行和关...2013-09-11
- 这篇文章主要介绍了node.js如何操作MySQL数据库,帮助大家更好的进行web开发,感兴趣的朋友可以了解下...2020-10-29
- 这篇文章主要介绍了Delphi远程连接Mysql的实现方法,需要的朋友可以参考下...2020-06-30