mysql 如何动态修改复制过滤器

 更新时间:2020年11月12日 20:24  
这篇文章主要介绍了mysql 如何动态修改复制过滤器,帮助大家更好的理解和使用MySQL,感兴趣的朋友可以了解下

MySQL动态修改复制过滤器

    说说今天遇到的问题吧,今天在处理一个业务方的需求,比较变态,我大概描述一下:

1、线上的阿里云rds上面有个游戏的日志库,里面的表都是日表的形式,数据量比较大了,每次备份的时候,都会导致线上的rds报警,报警内容是IO资源占用过多。

2、这个rds上有一个本地的ECS只读从库,这个只读从库会实时同步线上的rds数据库中的数据,这个只读从库供业务方查询使用

3、业务方说这些数据都还有用,只读从库上的数据必须有,线上rds上的数据可以删除,保留两个星期即可。

    场景就是这么个场景,DBA想要解决报警这个问题,业务方想要保证拥有完整的数据。请问,怎么解决?

    当时看到这个问题,我想骂人,这需求一看就不合理,哪儿有删除一个库,另外一个库上还保留的道理,况且都是些日志数据,不直接搞个冷备份,然后删除线上,搞这么一出干啥啊。但是啊,怎么说也没有缓和的余地,于是就开始思考这个问题应该怎么解决。我想到的解决办法有以下几个:

1、扩容,提升性能。数据量大,扩磁盘呗,IO使用率高,提升性能么,这是最直接的解决办法,也是最贵的解决办法,首先被砍掉。

2、先备份再删除再还原。rds主库上提前备份日表数据,然后删除数据,此时从库会同步删除数据,然后再将第一步备份的数据还原到从库上。这个办法从可行性上来讲是可以的,因为保证了没有数据丢失。但是操作起来比较麻烦,手续太多,不够方便。

3、使用replicate-ignore-table参数进行对于指定的表进行过滤。设置了这个参数,可以让你过滤指定数据表的所有操作。我们看看官方文档对这个参数的描述,给个链接:https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-wild-ignore-table

描述如下:

Creates a replication filter which keeps the slave thread from replicating a statement in which any table matches the given wildcard pattern. To specify more than one table to ignore, use this option multiple times,

   上面的意思是你可以使用这个参数创建一个过滤器,从而过滤掉匹配你制定的规则的特定表的操作(听着很绕口),就是说你可以制定过滤规则,加入规则中制定了表a,那么表a的操作就不会同步到从库中了。

   这和我们的需求符合,也就是我们如果设置了要过滤的表,那么当我们进行删除表操作的时候,从库中不会对表进行删除,就实现了我们想要的结果。测试一下这个功能吧:

首先我们创建数据库test_ignore,然后在其中创建表:

主库上操作:

mysql :test_ignore >>show tables;
Empty set (0.00 sec)

mysql :test_ignore >>create table aaa (id int not null);
Query OK, 0 rows affected (0.19 sec)

mysql :test_ignore >>create table aab (id int not null); 
Query OK, 0 rows affected (0.01 sec)

mysql :test_ignore >>create table aac (id int not null); 
Query OK, 0 rows affected (0.00 sec)

mysql :test_ignore >>create table aad (id int not null); 
Query OK, 0 rows affected (0.01 sec)

mysql :test_ignore >>create table aae (id int not null); 
Query OK, 0 rows affected (0.01 sec)

从库上查看:

mysql :test_ignore >>show tables;
+-----------------------+
| Tables_in_test_ignore |
+-----------------------+
| aaa                   |
| aab                   |
| aac                   |
| aad                   |
| aae                   |
+-----------------------+
5 rows in set (0.00 sec)

  发现已经同步过来了。此时是处于主从同步状态,如果现在我们在主库上删除表,那么从库上的表一定会删除,这不是我们想要的结果。

   很显然,接下来的一步是配置replicate-wild-ignore-table这个参数了,一般情况下,我们需要通过停止从库的服务进行my.cnf文件的配置,如果我们要配置多个表,则需要在my.cnf文件中写多条通配的记录。例如,在本例子中,需要配置该参数的值为test_ignore.aa%,其中%代表通配符,也就是说,test_ignore数据库中形如aa%这种格式的表操作都会被过滤掉。而我们创建的表aaa、aab、aac、aad、aae都是形如这种的,所以针对这几个表的操作一定不会同步到从库了,我们测试一下:

首先查看当前的复制状态:

双Yes状态,说明复制关系没有问题

主库进行操作:

mysql :test_ignore  >>drop table aaa;
Query OK, 0 rows affected (0.01 sec)

mysql :test_ignore  >>drop table aab;
Query OK, 0 rows affected (0.00 sec)

从库上进行查看:

mysql :test_ignore  >>show tables;
+-----------------------+
| Tables_in_test_ignore |
+-----------------------+
| aaa                   |
| aab                   |
| aac                   |
| aad                   |
| aae                   |
+-----------------------+
5 rows in set (0.00 sec)

   从库上的表还在,说明主库上的操作没有被同步到从库,我们配置的参数

replicate-wild-ignore-table=test_ignore.aa%

起作用了。此时,如果我们在主库上创建一个表:

`主库`
mysql :test_ignore  >>create table aaf(id int);
Query OK, 0 rows affected (0.00 sec)

`从库`
mysql :test_ignore  >>show tables;
+-----------------------+
| Tables_in_test_ignore |
+-----------------------+
| aaa                   |
| aab                   |
| aac                   |
| aad                   |
| aae                   |
+-----------------------+
5 rows in set (0.00 sec)

  发现从库并没有同步主库的表aaf,因为aaf也匹配了test_ignore.aa%这条规则。

   利用这个特性,我们能够很好的解决这个业务场景,也就是主库删除,从库保留数据。但是,这里要说但是了,这个方法有一个比较严重的问题,就是每次都需要重启从库,如果我们需要配置第二条规则,第三条规则,则需要重启从库2次,3次,这个过程中,从库对于业务方是不可见的,如果无法访问,很可能造成程序报错,这是我们不能忍受的。

   这个过程肯定是要解决的,怎么解决呢?能不能找到不停机就能修改复制过滤器的方法?找找官方文档。

   果然,停机是不可能停机的,这辈子都不可能停机。官方文档中有这么一句话:

You can also create such a filter by issuing a CHANGE REPLICATION FILTER REPLICATE_WILD_IGNORE_TABLE statement.

我去,这是个啥语句,表示从来没有用过,可以通过在线变更复制过滤器的方法来对过滤器进行修改,看看官方文档中的介绍:

看到了一个神奇的语句,赶紧来试试:

mysql :test_ignore  >>change replication filter replicate_wild_ignore_table=('test_ig%.aa%');
ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first

mysql :test_ignore  >>stop slave;
Query OK, 0 rows affected (0.00 sec)

mysql :test_ignore  >>change replication filter replicate_wild_ignore_table=('test_ig%.aa%');
Query OK, 0 rows affected (0.00 sec)

mysql :test_ignore  >>start slave;
Query OK, 0 rows affected (0.01 sec)

    直接使用,提示需要stop slave sql_thread,想想也能理解,不停止复制直接修改复制的规则好像有点不妥,索性停止了整个复制,然后重新修改复制过滤器,妥了,成功执行,开启复制,一套操作行云流水。

  再来看看复制关系中的状态:

   忽略的表规则已经变成了test_ig%.aa%,也就是说,以test_ig开头的数据库中以aa开头的表的操作,都不会被同步到从库,包括对表的alter和drop以及create操作。

   但这里,方案就出来了,我们知道,日表一般是YYYYMMDD这种形式的,我们只要过滤YYYYMM%这种格式的日表,然后在主库上对它进行删除,这个操作将不会被同步到从库,那么这个问题就可以顺利解决了。

   当然,除了这个方案之外,还有一些方案,例如:

如果业务容忍部分数据丢失,我们还可以使用关闭binlog---删表---打开binlog的方式使得从库不会同步主库的drop操作;

线上所有的日表操作都配置成ignore,然后利用触发器将日表中的更新同步到从库中;

   这一系列的操作,其实不是从本质上解决问题,本质上还是业务设计的问题,日表中的打点日志太多,可以适当减少这些打点日志,对于打点日志,需要确定保留周期,过期的日志,需要及时清理,保证服务器的指标和性能。

以上就是mysql 如何动态修改复制过滤器的详细内容,更多关于MySQL动态修改复制过滤器的资料请关注猪先飞其它相关文章!

相关文章

  • MySQL系列之十四 MySQL的高可用实现

    这篇文章主要介绍了MySQL系列之十四 MySQL的高可用实现,从工作原理到具体的技术实现,本文详细的讲述了该项技术,以下就是详细内容,需要的朋友可以参考下...2021-07-03
  • zabbix监控Nginx/Tomcat/MySQL的详细教程

    这篇文章主要介绍了zabbix监控Nginx/Tomcat/MySQL的详细教程,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下...2021-05-07
  • MySQL 8.0 Online DDL快速加列的相关总结

    在实际的MySQL运维过程中,我们经常会遇到业务需要给某张表添加字段的情况,本文将介绍几种加字段的方法,感兴趣的朋友可以参考下...2021-06-01
  • mysql外连接与内连接查询的不同之处

    在关系型数据库中,我们经常是把数据存储到多个相互关联的表中,这些相互关联的表通过指定的列发生联系,下面这篇文章主要给大家介绍了关于mysql外连接与内连接查询的不同之处,需要的朋友可以参考下...2021-06-03
  • 安装配置mysql及Navicat prenium的详细流程

    这篇文章主要介绍了安装配置mysql及Navicat Premium的详细流程,配置方法也真的很简单,本文给大家详细介绍mysql Navicat Premium安装配置相关知识感兴趣的朋友,一起学习吧...2021-06-10
  • MySQL中存储时间的最佳实践指南

    这篇文章主要给大家介绍了关于MySQL中存储时间的最佳实践,文中详细介绍了哪种存储时间的方式更好,对大家学习或者使用mysql具有一定的参考学习价值,需要的朋友可以参考下...2021-07-01
  • 浅谈MySQL之浅入深出页原理

    首先,我们需要知道,页(Pages)是InnoDB中管理数据的最小单元。Buffer Pool中存的就是一页一页的数据。当我们要查询的数据不在Buffer Pool中时,InnoDB会将记录所在的页整个加载到Buffer Pool中去;同样,将Buffer Pool中的脏页刷入磁盘时,也是按照页为单位刷入磁盘的...2021-06-24
  • mysql 带多个条件的查询方式

    这篇文章主要介绍了mysql 带多个条件的查询方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-06-04
  • Zabbix实现监控多个mysql过程解析

    这篇文章主要介绍了Zabbix实现监控多个mysql过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2021-05-07
  • 教你使用java将excel数据导入MySQL

    今天教大家如何使用Java将excel数据导入MySQL,文中有非常详细的代码示例,对正在学习java的小伙伴呢很有帮助,需要的朋友可以参考下...2021-05-17
  • 解决Navicat for Mysql连接报错1251的问题(连接失败)

    记得在之前给大家介绍过Navicat for Mysql连接报错的问题,可能写的不够详细,今天在稍作修改补充下,对Navicat for Mysql连接报错1251问题感兴趣的朋友跟随小编一起看看吧...2021-05-27
  • 浅谈mysql执行过程以及顺序

    这篇文章主要介绍了浅谈mysql执行过程以及顺序,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-05-12
  • Unity连接MySQL并读取表格数据的实现代码

    本文给大家介绍Unity连接MySQL并读取表格数据的实现代码,实例化的同时调用MySqlConnection,传入参数,这里的传入参数个人认为是CMD里面的直接输入了,string格式直接类似手敲到cmd里面,完整代码参考下本文...2021-06-20
  • MySQL系列之十 MySQL事务隔离实现并发控制

    今天的内容就和大家聊一聊MySQL数据库中关于MySQL事务隔离实现并发控制的问题,主要是基于锁实现控制技术...2021-07-03
  • zabbix 监控mysql的方法

    这篇文章主要介绍了zabbix 监控mysql的方法,本文给大家介绍的非常详细,对大家的学习或工作或学习具有一定的参考借鉴价值,需要的朋友可以参考下...2021-05-07
  • 浅析MySQL如何实现事务隔离

    使用过关系型数据库的,应该都事务的概念有所了解,知道事务有 ACID 四个基本属性:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability),今天我们主要来理解一下事务的隔离性...2021-06-26
  • 教你用Python3+mysql8.0搭建Django框架

    发现有很多小伙伴还不知道如何搭建Django框架,今天特地整理了本篇文章,基于Python3和mysql8.0,文中有非常详细的步骤教程,对小伙伴很有帮助,需要的朋友可以参考下...2021-05-31
  • MySQL定时全库备份数据库

    数据备份真的很重要, 因为可能有一天数据会被莫名其妙的删掉了,本文主要介绍了MySQL定时备份数据库,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-07-03
  • Navicat连接MySQL错误描述分析

    最近遇到了一件非常棘手的问题,用Navicat连接MySQL总是出错,网上查阅了一下原因,最终找到解决方案,好吧,下面我就来回忆一下自己怎么处理这问题的,分享到脚本之家平台需要的朋友参考下吧...2021-06-02
  • 详解MySQL 联合查询优化机制

    MySQL 使用联合的形式的地方会远远超过我们过去认知的范畴。基本上,它会认为每个查询都有联合,而不仅仅是从两张表中查出匹配的数据行,这包括了子查询,甚至仅仅对单表的 SELECT 操作。因此,理解 MySQL 如何执行联合十分重要。...2021-05-10