MySQL系列之十一 日志记录

 更新时间:2021年7月3日 10:00  
这篇文章主要介绍了MySQL日志文件详解,本文分别讲解了错误日志、二进制日志、通用查询日志、慢查询日志、Innodb的在线redo日志、更新日志等日志类型和作用介绍,需要的朋友可以参考下

系列教程

MySQL系列之开篇 MySQL关系型数据库基础概念
MySQL系列之一 MariaDB-server安装
MySQL系列之二 多实例配置
MySQL系列之三 基础篇
MySQL系列之四 SQL语法
MySQL系列之五 视图、存储函数、存储过程、触发器
MySQL系列之六 用户与授权
MySQL系列之七 MySQL存储引擎
MySQL系列之八 MySQL服务器变量
MySQL系列之九 mysql查询缓存及索引
MySQL系列之十 MySQL事务隔离实现并发控制
MySQL系列之十一 日志记录
MySQL系列之十二 备份与恢复
MySQL系列之十三 MySQL的复制
MySQL系列之十四 MySQL的高可用实现
MySQL系列之十五 MySQL常用配置和性能压力测试

一、SQL命令历史

~/.mysql_history 记录了在mysql中执行的命令历史

二、事务日志

transaction log:事务型存储引擎自行管理和使用

在一个事务提交后还没有存到磁盘的情况下会记录到事务日志,这个时候如果系统断电,再次开机后会自动将已提交的事务重做(redo log)写入磁盘;如果事务还没有提交的情况下断电重启后会执行撤销操作(undo log)

相关变量

MariaDB [school]> SHOW VARIABLES LIKE 'innodb_log%';
+---------------------------+------------+
| Variable_name             | Value      |
+---------------------------+------------+
| innodb_log_block_size     | 512        | -- 块大小
| innodb_log_buffer_size    | 8388608    | -- 缓存大小
| innodb_log_file_size      | 1073741824 | -- 每个日志文件大小
| innodb_log_files_in_group | 3          | -- 日志组成员个数,也就是有几个文件
| innodb_log_group_home_dir | ./         | -- 事务文件路径,相对于数据目录
+---------------------------+------------+

innodb_log_file_size默认大小为5M,innodb_log_files_in_group个数默认2个;强烈建议调大这俩个值;

如果事务操作的数据大于事务日志文件总大小,在执行ROLLBACK时:可以撤销,但是数据文件会被占用,需要使用OPTIMIZE TABLE命令来释放数据空间;

使用TRUNCATE删除表记录可以缩小占用空间,DELETE命令不会释放磁盘空间,如果需要释放需要使用OPTIMIZE命令从新整理碎片来释放空间。

注意:修改innodb_log_file_size时需要先删除原来的日志文件

三、错误日志

错误日志中记录项目:

  1. mysqld启动和关闭过程中输出的事件信息
  2. mysqld运行中产生的错误信息
  3. event scheduler运行一个event时产生的日志信息
  4. 在主从复制架构中的从服务器上启动从服务器线程时产生的信息

相关变量

MariaDB [school]> SHOW GLOBAL VARIABLES LIKE 'log_error';  #错误日志文件的路径
+---------------+------------------------------+
| Variable_name | Value                        |
+---------------+------------------------------+
| log_error     | /var/log/mariadb/mariadb.log |
+---------------+------------------------------+

log_warnings=1|0 默认值1(是):是否记录警告信息至错误日志文件

四、查询日志

记录用户的操作日志,一般不建议启用

MariaDB [school]> SHOW VARIABLES LIKE 'general_log%';
+------------------+-------------+
| Variable_name    | Value       |
+------------------+-------------+
| general_log      | OFF         | -- 开启关闭通用日志,默认关闭
| general_log_file | centos7.log | -- 通用日志文件的文件名,/var/lib/mysql/HOSTNAME.log
+------------------+-------------+

MariaDB [school]> SHOW VARIABLES LIKE 'log_output';  
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | FILE  | -- 以什么方式存放日志,(TABLE|FILE|NONE)
+---------------+-------+

mysql.general_log:表存放查询日志,前提是以表方式存放的

五、慢查询日志

记录执行查询时长超出指定时长的操作

1、慢查询相关变量

MariaDB [school]> SHOW VARIABLES LIKE 'slow_query%';    
+---------------------+------------------+
| Variable_name       | Value            |
+---------------------+------------------+
| slow_query_log      | OFF              | -- 开启或关闭慢查询日志
| slow_query_log_file | centos7-slow.log | -- 慢查询日志文件
+---------------------+------------------+
MariaDB [school]> SHOW VARIABLES LIKE 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 | -- 慢查询的阀值,单位秒,查询时间超过10则记录到慢查询日志
+-----------------+-----------+
MariaDB [school]> SHOW VARIABLES LIKE 'log_slow%';
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| log_slow_rate_limit | 1     | -- 多少次查询才记录,mariadb特有
| log_slow_verbosity  |       | -- 记录内容的详细程度(Query_plan,explain)
+---------------------+-------+
MariaDB [school]> SHOW VARIABLES LIKE 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF   | -- 记录没有利用索引查询,而使用全文扫描的语句;默认关闭,建议开启
+-------------------------------+-------+

log_slow_filter :根据查询结果过滤

  • admin
  • filesort
  • filesort_on_disk
  • full_join
  • full_scan
  • query_cache
  • query_cache_miss
  • tmp_table
  • tmp_table_on_disk

2、补充:利用 profiling 跟踪查询语句所用的详细时间

MariaDB [school]> SHOW VARIABLES LIKE 'profiling';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| profiling     | OFF   | -- 开启或关闭,默认关闭
+---------------+-------+
MariaDB [school]> SET profiling=ON;  #开启查询语句跟踪功能
MariaDB [school]> SHOW profiles;  #查询语句执行的时间列表
+----------+------------+------------------------------------------------------------+
| Query_ID | Duration   | Query                                                      |
+----------+------------+------------------------------------------------------------+
|        1 | 0.00024497 | SELECT * FROM students                                     |
|        2 | 0.00038528 | SELECT stuid,name,age FROM students WHERE stuid = 2        |
+----------+------------+------------------------------------------------------------+

MariaDB [school]> SHOW profile FOR query 2;  #查询指定编号的SQL语句的详细执行过程
+----------------------+----------+
| Status               | Duration |
+----------------------+----------+
| starting             | 0.000035 |
| Opening tables       | 0.000003 |
| After opening tables | 0.000006 |
| query end            | 0.000003 |
| closing tables       | 0.000002 |
| freeing items        | 0.000011 |
| updating status      | 0.000006 |
| cleaning up          | 0.000001 |
+----------------------+----------+

六、二进制日志

记录已提交事务导致数据改变或潜在导致数据改变的SQL语句,通过“重放”日志文件中的事件来生成数据副本,不依赖存储引擎类型。

开启二进制日志,默认是关闭的,二进制日志和数据分开存放

开启记录二进制文件的功能:在my.cnf的[mysqld]下加入log_bin[=/path/somefile]

默认二进制日志在数据库目录下,mariadb-bin.000001 为二进制日志数据文件,mariadb-bin.index 为二进制日志索引文件

1、记录二进制日志的三种方式:

  • 基于语句的记录方式,每一条改变数据的语句记录为一条语句,节省空间,系统默认为此模式,但是不推荐使用,会有隐藏的风险
  • 基于行的记录方式,每一行的改变都会将使其改变的语句记录为一条语句,日志量会很大,但是对数据的安全保护非常高
  • 混合模式:mixed, 让系统自行判定该基于哪种方式进行

MariaDB [(none)]> SHOW VARIABLES LIKE 'binlog_format';  
+---------------+-----------+
| Variable_name | Value     |
+---------------+-----------+
| binlog_format | STATEMENT | -- 记录方式,系统默认基于语句方式
+---------------+-----------+

SET binlog_format='ROW|STATEMENT|MIXED'; -- 修改二进制日志记录方式

2、二进制日志的相关变量

MariaDB [(none)]> SHOW MASTER|BINARY LOGS; -- 查看mariadb自行管理使用中的二进制日志文件列表
+--------------------+-----------+
| Log_name           | File_size |
+--------------------+-----------+
| mariadb-bin.000002 |       290 |
| mariadb-bin.000003 |       264 |
| mariadb-bin.000004 |    529038 |
| mariadb-bin.000005 |       245 |
+--------------------+-----------+
MariaDB [(none)]> SHOW MASTER STATUS; -- 查看使用中的二进制日志文件
+--------------------+----------+--------------+------------------+
| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------------+----------+--------------+------------------+
| mariadb-bin.000005 |      245 |              |                  |
+--------------------+----------+--------------+------------------+
MariaDB [(none)]> SHOW BINLOG EVENTS IN 'mariadb-bin.000004' FROM 1 LIMIT 2,3\G -- 查看二进制文件中的指定内容

MariaDB [(none)]> SHOW VARIABLES LIKE 'sql_log_bin'; -- 是否记录二进制日志,默认ON
MariaDB [(none)]> SHOW VARIABLES LIKE 'log_bin'; -- 指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可
MariaDB [(none)]> SHOW VARIABLES LIKE 'max_binlog_size';
+-----------------+------------+
| Variable_name   | Value      |
+-----------------+------------+
| max_binlog_size | 1073741824 | -- 单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G
+-----------------+------------+
MariaDB [(none)]> SHOW VARIABLES LIKE 'sync_binlog';    
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| sync_binlog   | 0     | -- 设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘
+---------------+-------+
MariaDB [(none)]> SHOW VARIABLES LIKE 'expire_logs_days';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| expire_logs_days | 0     | -- 二进制日志可以自动删除的天数。 默认为0,即不自动删除
+------------------+-------+

3、mysqlbinlog命令

  • 二进制日志的客户端命令工具
  • --start-position=# 指定开始位置
  • --stop-position=# 指定结束位置
  • --start-datetime=(YYYY-MM-DD hh:mm:ss) 指定开始时间
  • --stop-datetime=(YYYY-MM-DD hh:mm:ss) 指定结束时间
  • --base64-output=decode-row
  • -v |-vv |-vvv |-vvvv 显示详细信息

[[email protected] mysql]# mysqlbinlog --start-position=528864 --stop-position=529019 mariadb-bin.000004 --base64-output=decode-row -v
# at 528864
#180611 20:59:46 server id 1  end_log_pos 528992        Query   thread_id=29    exec_time=0     error_code=0
use `school`/*!*/;
SET TIMESTAMP=1528721986/*!*/;
INSERT students(StuID,Name,Age,Gender) VALUES (26,'Tom',22,'M')  #改变数据的SQL语句
/*!*/;

事件发生的日期和时间:180611 20:59:46
事件发生的服务器标识:server id 1
事件的结束位置:end_log_pos 528992
事件的类型:Query
事件发生时所在服务器执行此事件的线程的ID:thread_id=29
语句的时间戳与将其写入二进制文件中的时间差:exec_time=0
错误代码:error_code=0
事件内容: 
GTID:Global Transaction ID,mysql5.6以mariadb10以上版本专属属性:GTID

使用mysqlbinlog mariadb-bin.000001 > file.sql命令重定向到SQL文件中,再使用mysql -uroot -p < file.sql命令可以直接导入数据,实现了备份还原的功能

4、二进制日志的管理

MariaDB [(none)]> PURGE BINARY LOGS TO 'mariadb.000002'; -- 删除到02,注意:02不删除
MariaDB [(none)]> PURGE BINARY LOGS BEFORE '2018-01-23'; -- 删除2018-01-23之前的日志
MariaDB [(none)]> PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';
MariaDB [(none)]> RESET MASTER; -- 删除所有二进制日志,index文件重新记数
MariaDB [(none)]> FLUSH LOGS; -- 手动触发日志滚动

七、中继日志

relay log :主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取到的事件

总结

本篇文章就到这里了,希望可以给你带来一些帮助,也希望您能够多多关注猪先飞的更多内容!

相关文章

  • MySQL带你秒懂索引下推

    如果你在面试中,听到MySQL5.6”、“索引优化” 之类的词语,你就要立马get到,这个问的是“索引下推”。本文就来分分享这个小知识点索引下推...2021-09-16
  • mysql IS NULL使用索引案例讲解

    这篇文章主要介绍了mysql IS NULL使用索引案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-14
  • MySQL中常见的六个约束类型详解

    数据类型是为了节约内存,提高计算, 数据约束是为了完整性(存储关系),下面这篇文章主要给大家介绍了关于MySQL中常见的六个约束类型的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下...2021-09-08
  • MySQL深度分页(千万级数据量如何快速分页)

    后端开发中经常需要分页展示,个时候就需要用到MySQL的LIMIT关键字。LIMIT在数据量大的时候极可能造成的一个问题就是深度分页。本文就介绍一下解决方法,感兴趣的可以了解一下...2021-07-25
  • 利用redis实现聊天记录转存功能的全过程

    社交类软件聊天功能必不可少,聊天记录存储的方式也比较多,比如文本,数据库,云等等,但是最好的选择还是redis进行存储,这篇文章主要给大家介绍了关于如何利用redis实现聊天记录转存功能的相关资料,需要的朋友可以参考下...2021-08-03
  • MySQL如何解决幻读问题

    在高并发数据库系统中,需要保证事务与事务之间的隔离性,还有事务本身的一致性。所以需要解决幻读问题,本文就来介绍一下,感兴趣的可以了解一下...2021-08-07
  • MySQL 5.7常见数据类型

    这篇文章主要介绍了MySQL 5.7数据类型详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-07-15
  • MySQL去除重叠时间求时间差和的实现

    在生产中常常出现计算两个时间差的业务,比如总宕机时间、总开通会员时间等,本文就详细的来介绍一下如何计算,感兴趣的可以了解一下...2021-08-23
  • 详解MySQL自增主键的实现

    现在大部分的软件开发都离不开数据库。而mysql也是经常会用到的一个数据库。mysql数据库中有一个主键生成规则,就是自增。也是我们经常会用到的。本文就来介绍一下...2021-09-06
  • java最新版本连接mysql失败的解决过程

    这篇文章主要给大家介绍了关于java最新版本连接mysql失败的解决过程,文中通过图文以及示例代码将解决的过程介绍的非常详细,对遇到这个问题的同学具有一定的参考学习价值,需要的朋友可以参考下...2021-09-09
  • Spring Boot mybatis-config 和 log4j 输出sql 日志的方式

    这篇文章主要介绍了Spring Boot mybatis-config 和 log4j 输出sql 日志的方式,本文通过实例图文相结合给大家介绍的非常详细,需要的朋友可以参考下...2021-07-26
  • MySQL之权限以及设计数据库案例讲解

    这篇文章主要介绍了MySQL之权限以及设计数据库案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-09
  • MySQL中的redo log和undo log日志详解

    MySQL日志系统中最重要的日志为重做日志redo log和归档日志bin log,后者为MySQL Server层的日志,前者为InnoDB存储引擎层的日志。今天通过本文给大家介绍MySQL中的redo log和undo log日志,感兴趣的朋友一起看看吧...2021-07-27
  • mysql主键id的生成方式(自增、唯一不规则)

    本文主要介绍了mysql主键id的生成方式,主要包括两种生成方式,文中通过代码示例介绍的非常详细,感兴趣的可以了解一下...2021-09-06
  • mongodb清除连接和日志的正确方法分享

    这篇文章主要给大家介绍了关于mongodb清除连接和日志的正确方法,文中通过示例代码介绍的非常详细,对大家学习或者使用mongodb具有一定的参考学习价值,需要的朋友可以参考下...2021-09-14
  • 浅谈订单重构之 MySQL 分库分表实战篇

    这篇文章主要介绍了 MySQL 分库分表方法的相关资料,需要的朋友可以参考下面文章内容,希望能帮助到你...2021-09-08
  • MySQL数据库体系架构详情

    这篇文章主要介绍了MySQL体系架构,根据大部分的面试内容所描述,需要的朋友可以参考下面文章内容...2021-09-07
  • MySQL中的回表和索引覆盖示例详解

    索引覆盖是一种避免回表查询的优化策略,具体的做法就是将要查询的数据作为索引列建立普通索,下面这篇文章主要给大家介绍了关于MySQL中回表和索引覆盖的相关资料,需要的朋友可以参考下...2021-09-08
  • mysql回表致索引失效案例讲解

    这篇文章主要介绍了mysql回表致索引失效案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-14
  • mysql判断当前时间是否在开始与结束时间之间且开始与结束时间允许为空

    这篇文章主要介绍了mysql判断当前时间是否在开始与结束时间之间且开始与结束时间允许为空,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-09-05