mysql表分区的使用与底层原理详解
什么是分区表
MySQL从5.1版本开始支持分区功能,分区是将一个表的数据按照某种方式,比如按照时间上的月份,分成多个较小的,更容易管理的部分,但是逻辑上仍是一个表。
还没出现分区表的时候,所有的数据都是存放在一个文件里面的,如果数据量太大,查询数据时总是避免不了需要大量io操作;使用分区表后,每个分区存放不同的数据。这样不但可以减少io。还可以加快数据的访问;
为了保证MySQL的性能,我们都建议mysql单表不要太大,建议是:单表小于2G,记录数小于1千万,十库百表。如果但行记录数非常小,那么记录数可以再偏大些,反之,可能记录数到百万级别就开始变慢了。
那么,业务量在增长,数据到瓶颈了怎么办呢,除了使用分布式数据库,我们也可以自行分库分表,或者利用mysql的分区功能实现。
分区表的出现是为了分而治之的概念,分区表的用处非常大,只是现在还有很多人都不知道;
将一个表设置为分区表后,会在数据文件.idb的文件名加上#号,代表这是一个分区表;
分区表应用场景
- 表非常大以至于无法全部放在内存中,或者只在表的最后部分有热点数据,其他都是历史数据
- 分区表的数据更容易维护,,能批量删除大量数据
- 对一个独立分区进行优化、检查、修复等操作
- 分区表的数据可以分布在不同的设备上,从未高效的利用多个硬件设备
- 可以备份和恢复独立的分区;
分区表的限制
- 一个表最多能有1024个分区,在5.7版本及以上可以有8196个分区
- 在早期mysql中,分区表达式必须是整数或者整返回整数的表达式,在mysql5.5中,某些场景可以直接使用列来进行分区
- 分区表无法使用外检约束
- 最好不要去修改分区列
- 如果分区字段中有主键或者唯一索引的列,那么所有主键列和唯一索引列都必须包含进来;就像这样:
-- 创建分区必须包含所有主键 create table user_11( id bigint(20) not null , name varchar(20) , age int(3), PRIMARY KEY (`id`,`age`) ) -- 创建分区 partition by range columns(id,age)( partition p00 values less than(6,30), -- 小于6的值在P0分区 partition p11 values less than(11,40), -- 小于11的值在p1分区 partition p22 values less than(16,50), -- 小于16的值在p2分区 partition p33 values less than (9999,9999) -- 大于21的值在p3分区,或者用一个更大的值 ); -- 创建分区必须包含所有唯一键 create table user_22( id bigint(20) not null, name varchar(20) , age int(3) not null , unique key only_one_1(age,id ) ) -- 创建分区 partition by range columns(id,age)( partition p000 values less than(6,30), -- 小于6的值在P0分区 partition p111 values less than(11,40), -- 小于11的值在p1分区 partition p222 values less than(16,50), -- 小于16的值在p2分区 partition p333 values less than (9999,9999) -- 大于21的值在p3分区,或者用一个更大的值 );
分区类型
- 范围分区
- 列表分区
- 列分区
- hash分区
- 秘钥分区
- 子分区
分区表的使用
1、范围分区
下面示例中将年龄进行分区,
create table employees( id bigint(20) not null, age int(3) not null, name varchar(20) ) -- 创建分区 partition by range (age)( partition p0 values less than(6), -- 小于6的值在P0分区 partition p1 values less than(11), -- 小于11的值在p1分区 partition p2 values less than(16), -- 小于16的值在p2分区 partition p3 values less than(21) -- 小于21的值在p3分区 );
创建好之后,就可以看到在数据文件夹中的分区文件了
[root@VM_0_5_centos test]# pwd /var/lib/mysql/test [root@VM_0_5_centos test]# ll 总用量 8741504 -rw-rw---- 1 mysql mysql 61 10月 31 2018 db.opt -rw-rw---- 1 mysql mysql 8614 8月 1 21:30 employees.frm -rw-rw---- 1 mysql mysql 32 8月 1 21:30 employees.par -rw-rw---- 1 mysql mysql 98304 8月 1 21:30 employees#P#p0.ibd -rw-rw---- 1 mysql mysql 98304 8月 1 21:30 employees#P#p1.ibd -rw-rw---- 1 mysql mysql 98304 8月 1 21:30 employees#P#p2.ibd -rw-rw---- 1 mysql mysql 98304 8月 1 21:30 employees#P#p3.ibd
因为age字段最大只能插入21以下的数字,如果插入21的数字则会报错,
mysql> insert employees (id,name,age) values(1,'yexindong',21); ERROR 1526 (HY000): Table has no partition for value 21
所以,为了解决这个问题,在建表的时候可以这么干,将最大的值使用maxvalue,据说maxvalue的值为28个9,也就是9999999999999999999999999999
create table employees( id bigint(20) not null, age int(3) not null, name varchar(20) ) -- 创建分区 partition by range (age)( partition p0 values less than(6), -- 小于6的值在P0分区 partition p1 values less than(11), -- 小于11的值在p1分区 partition p2 values less than(16), -- 小于16的值在p2分区 partition p3 values less than maxvalue -- 大于16的值在p3分区,或者用一个更大的值 );
时间范围分区
CREATE TABLE employees ( id INT NOT NULL, fname VARCHAR(30), lname VARCHAR(30), hired DATE NOT NULL DEFAULT '1970-01-01', separated DATE NOT NULL DEFAULT '9999-12-31', job_code INT, store_id INT ) PARTITION BY RANGE ( YEAR(separated) ) ( PARTITION p0 VALUES LESS THAN (1991), -- 1991年之前的数据在P0分区 PARTITION p1 VALUES LESS THAN (1996),-- 1996年之前的数据在P1分区 PARTITION p2 VALUES LESS THAN (2001),-- 2001年之前的数据在P2分区 PARTITION p3 VALUES LESS THAN MAXVALUE -- 2001年制后的数据在P3分区 ); CREATE TABLE members ( firstname VARCHAR(25) NOT NULL, lastname VARCHAR(25) NOT NULL, username VARCHAR(16) NOT NULL, email VARCHAR(35), joined DATE NOT NULL ) PARTITION BY RANGE COLUMNS(joined) ( PARTITION p0 VALUES LESS THAN ('1960-01-01'), PARTITION p1 VALUES LESS THAN ('1970-01-01'), PARTITION p2 VALUES LESS THAN ('1980-01-01'), PARTITION p3 VALUES LESS THAN ('1990-01-01'), PARTITION p4 VALUES LESS THAN MAXVALUE );
2、列表分区(list分区)
列表分区和范围分区最大的区别就是列表是等值的,而范围分区是在某个范围内的;
CREATE TABLE employees ( id INT NOT NULL, fname VARCHAR(30), lname VARCHAR(30), hired DATE NOT NULL DEFAULT '1970-01-01', separated DATE NOT NULL DEFAULT '9999-12-31', job_code INT, store_id INT ) PARTITION BY LIST(store_id) ( PARTITION pNorth VALUES IN (3,5,6,9,17), -- 3,5,6,9,17的值放在pNorth分区 PARTITION pEast VALUES IN (1,2,10,11,19,20),-- 1,2,10,11,19,20的值放在pEast分区 PARTITION pWest VALUES IN (4,12,13,14,18),-- 4,12,13,14,18的值放在pWest分区 PARTITION pCentral VALUES IN (7,8,15,16)-- 7,8,15,16的值放在pCentral分区 );
3、列分区
列分区是范围分区和列表分区的变体,也就是说列分区就是由范围分区和列表分区封装得来的,唯一的不同的是,列分区没有数据类型的限制,换句话说,范围分区和列表分区就是列分区;
4、hash分区
hash分区不需要指定范围或者列表,而是根据插入的值动态分配来决定插入到哪个分区,和hashMap的原理很像,不同的是hashMap会通过扰动函数来解决hash碰撞问题,但是mysql的hash分区是直接取模运算得出结果;然后插入指定位置的分区;
-- 普通字段的分区 CREATE TABLE employees ( id INT NOT NULL, fname VARCHAR(30), lname VARCHAR(30), hired DATE NOT NULL DEFAULT '1970-01-01', separated DATE NOT NULL DEFAULT '9999-12-31', job_code INT, store_id INT ) PARTITION BY HASH(store_id) PARTITIONS 5;--创建5个分区,分别是0,1,2,3,4 -- 创建时间类型的分区 CREATE TABLE employees ( id INT NOT NULL, fname VARCHAR(30), lname VARCHAR(30), hired DATE NOT NULL DEFAULT '1970-01-01', separated DATE NOT NULL DEFAULT '9999-12-31', job_code INT, store_id INT ) PARTITION BY HASH( YEAR(hired) ) PARTITIONS 4; -- 创建四个分区,分别为0,1,2,3
5、秘钥分区(key分区)
key分区用的比较少
-- 以主键进行分区 CREATE TABLE k1 ( id INT NOT NULL PRIMARY KEY, name VARCHAR(20) ) PARTITION BY KEY() PARTITIONS 2; -- 创建2个分区分别为P0和P1,这里是hash分区的变种,存储方式和hash分区一样 -- 以唯一键进行分区 CREATE TABLE k1 ( id INT NOT NULL, name VARCHAR(20), UNIQUE KEY (id) ) PARTITION BY KEY() PARTITIONS 3;-- 创建三个分区,分别是p0,p1,p2 -- 指定主键字段进行分区 CREATE TABLE tm1 ( s1 CHAR(32) PRIMARY KEY ) PARTITION BY KEY(s1) PARTITIONS 10; -- 创建10个分区
6、子分区
子分区这么理解就行了:在分区的基础上在分区;举个例子吧,如果一张表分成三个分区,而每个分区又有三个子分区,所以一共有3 * 3 = 9个分区;
-- 表中有3个分区,每个分区上有2个子分区,所以加起来一共有6个分区 CREATE TABLE ts (id INT, purchased DATE) PARTITION BY RANGE( YEAR(purchased) ) SUBPARTITION BY HASH( TO_DAYS(purchased) ) SUBPARTITIONS 2 ( PARTITION p0 VALUES LESS THAN (1990), PARTITION p1 VALUES LESS THAN (2000), PARTITION p2 VALUES LESS THAN MAXVALUE );
进入mysql的数据文件中就可以看到有6个文件,顾名思义,生成了6个分区
-rw-rw---- 1 mysql mysql 98304 8月 2 22:37 ts#P#p0#SP#p0sp0.ibd -rw-rw---- 1 mysql mysql 98304 8月 2 22:37 ts#P#p0#SP#p0sp1.ibd -rw-rw---- 1 mysql mysql 98304 8月 2 22:37 ts#P#p1#SP#p1sp0.ibd -rw-rw---- 1 mysql mysql 98304 8月 2 22:37 ts#P#p1#SP#p1sp1.ibd -rw-rw---- 1 mysql mysql 98304 8月 2 22:37 ts#P#p2#SP#p2sp0.ibd -rw-rw---- 1 mysql mysql 98304 8月 2 22:37 ts#P#p2#SP#p2sp1.ibd
添加分区
-- 添加列表分区 alter table titles add partition(partition p7 values in('CEO'));
分区表原理
分区表由多个相关的底层表实现,这个底层表也是由句柄对象标识,我们可以直接访问各个分区。存储引擎管理分区的各个底层表和管理普通表一样(所有的底层表都必须使用相同的存储引擎),分区表的索引知识在各个底层表上各自加上一个完全相同的索引。从存储引擎的角度来看,底层表和普通表没有任何不同,存储引擎也无须知道这是一个普通表还是一个分区表的一部分。
分区表的操作按照以下的操作逻辑进行:
select查询
当查询一个分区表的时候,分区层先打开并锁住所有的底层表,优化器先判断是否可以过滤部分分区,然后再调用对应的存储引擎接口访问各个分区的数据
insert操作
当写入一条记录的时候,分区层先打开并锁住所有的底层表,然后确定哪个分区接受这条记录,再将记录写入对应底层表
delete操作
当删除一条记录时,分区层先打开并锁住所有的底层表,然后确定数据对应的分区,最后对相应底层表进行删除操作
update操作
当更新一条记录时,分区层先打开并锁住所有的底层表,mysql先确定需要更新的记录再哪个分区,然后取出数据并更新,再判断更新后的数据应该再哪个分区,最后对底层表进行写入操作,并对源数据所在的底层表进行删除操作
有些操作时支持过滤的,例如,当删除一条记录时,MySQL需要先找到这条记录,如果where条件恰好和分区表达式匹配,就可以将所有不包含这条记录的分区都过滤掉,这对update同样有效。如果是insert操作,则本身就是只命中一个分区,其他分区都会被过滤掉。mysql先确定这条记录属于哪个分区,再将记录写入对应得曾分区表,无须对任何其他分区进行操作
虽然每个操作都会“先打开并锁住所有的底层表”,但这并不是说分区表在处理过程中是锁住全表的,如果存储引擎能够自己实现行级锁,例如innodb,则会在分区层释放对应表锁。
如何使用分区表
- 日志系统可以用分区,一般日志数量都是比较多的,按年或者月份来分区,一般来说都需要在日志系统中查询出某一段时间的历史记录,因为数据量巨大,肯定不能走全表扫描,全表扫描会引发大量的随机io,当数据量超大的时候,索引也无法起作用;此时应该考虑用分区进行解决;
- 并不是数据量大才需要用分区,数据量小的时候也可以用分区,怎样的场景下数据量小呢?答案是你每次查询的数据都是某一个批次的时候就可以用分区,比如说字典,业务的字典和用户类型的字典一般都是存放在同一张表里面的,且你每次查询的时候不是差一个业务或者一个用户类型,而是查询整个业务或者用户类型,这就是一个批次,此时也可以用分区来实现;
- 使用分区后,就可以不用索引了,因为一般使用分区的话都是范围查询,范围查询也就没必要使用索引了;已经将数据分布在不同的分区中了;
- 要使用索引的话,也可以,但是要分离热数据和冷数据,热数据就是经常要查询的数据,在热数据的表上加索引来加快访问速度;
注意事项
- null值会使分区过滤无效;分区是需要制定列名的,需要确保这个列名不会出现null值;
- 如果分区列和索引列不是同一列的话,会导致查询无法进行分区过滤,比如说你的id和age字段都加了索引,那么分区的时候最好把这2个列设为分区列:干PARTITION BY RANGE COLUMNS(id,age)
- 对分区表增删改的成本很高,每次对表进行次增删改的时候会打开并锁住所有的底层表,只要有一个锁住了,其他的操作就无法进行;
- 维护分区的时候,成本可能很高,特别是需要修改分区的时候,成本是最高的,
总结
到此这篇关于mysql表分区的使用与底层原理的文章就介绍到这了,更多相关mysql表分区底层原理内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了MySQL性能监控软件Nagios的安装及配置教程,这里以CentOS操作系统为环境进行演示,需要的朋友可以参考下...2015-12-14
- 新版 Mysql 中加入了对 JSON Document 的支持,可以创建 JSON 类型的字段,并有一套函数支持对JSON的查询、修改等操作,下面就实际体验一下...2016-08-23
深入研究mysql中的varchar和limit(容易被忽略的知识)
为什么标题要起这个名字呢?commen sence指的是那些大家都应该知道的事情,但往往大家又会会略这些东西,或者对这些东西一知半解,今天我总结下自己在mysql中遇到的一些commen sense类型的问题。 ...2015-03-15- 这篇文章主要介绍了MySQL 字符串拆分操作(含分隔符的字符串截取),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-22
- 一、先说一下为什么要分表:当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。根据个人经验,mysql执行一个sql的过程如下:1...2014-05-31
- 我们自己鼓捣mysql时,总免不了会遇到这个问题:插入中文字符出现乱码,虽然这是运维先给配好的环境,但是在自己机子上玩的时候咧,总得知道个一二吧,不然以后如何优雅的吹牛B。...2015-03-15
- 这几天在centos下装mysql,这里记录一下安装的过程,方便以后查阅Mysql5.5.37安装需要cmake,5.6版本开始都需要cmake来编译,5.5以后的版本应该也要装这个。安装cmake复制代码 代码如下: [root@local ~]# wget http://www.cm...2015-03-15
- 宿主机使用网线的时候,客户机在Bridged Adapter模式下,使用Atheros AR8131 PCI-E Gigabit Ethernet Controller上网没问题。 宿主机使用无线的时候,客户机在Bridged Adapter模式下,使用可选项里唯一一个WIFI选项,Microsoft Virtual Wifi Miniport Adapter也无法上网,故弃之。...2013-09-19
- 这篇文章主要介绍了node.js如何操作MySQL数据库,帮助大家更好的进行web开发,感兴趣的朋友可以了解下...2020-10-29
- 首先要声明一点,大部分情况下,修改MySQL密码是需要有mysql里的root权限的...2013-09-11
- MySQL命令行导出数据库: 1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录 如我输入的命令行:cd C:/Program Files/MySQL/MySQL Server 4.1/bin (或者直接将windows的环境变量path中添加该目录) ...2013-09-26
- 这篇文章主要介绍了Python 列表(List)的底层实现原理分析,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 一、连接Mysql格式: mysql -h主机地址 -u用户名 -p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口,然后进入目录mysql/bin,再键入命令mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是密...2015-11-08
- Navicat for MySQL注册码用来激活 Navicat for MySQL 软件,只要拥有 Navicat 注册码就能激活相应的 Navicat 产品。这篇文章主要介绍了Navicat for MySQL 11注册码\激活码汇总,需要的朋友可以参考下...2020-11-23
- 这篇文章主要介绍了mysql IS NULL使用索引案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-14
- 一、准备编译环境,安装所需依赖包yum groupinstall 'Development' -y yum install openssl openssl-devel zlib zlib-devel -y yum install readline-devel pcre-devel ncurses-devel bison-devel cmake -y二、编译安...2015-10-21
- 这篇文章主要介绍了基于PostgreSQL和mysql数据类型对比兼容,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-25
Mysql中 show table status 获取表信息的方法
这篇文章主要介绍了Mysql中 show table status 获取表信息的方法的相关资料,需要的朋友可以参考下...2016-03-12- 这篇文章主要为大家分享了20分钟MySQL基础入门教程,快速掌握MySQL基础知识,真正了解MySQL,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2016-12-02
- 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由数据库(database)、集合(collection)、文档对象(document)三个层次组成。MongoDB对于关系型数据库里的表,但是集合中没有列、行和关...2013-09-11