Mysql纵表转换为横表的方法及优化教程
1、纵表与横表
纵表:表中字段与字段的值采用key—value形式,即表中定义两个字段,其中一个字段里存放的是字段名称,另一个字段中存放的是这个字段名称代表的字段的值。
例如,下面这张ats_item_record表,其中field_code表示字段,后面的record_value表示这个字段的值
优缺点:
横表:表结构更加的清晰明了,关联查询的一些sql语句也更容易,方便易于后续开发人员的接手,但是如果字段不够,需要新增字段,会改动表结构。
纵表:扩展性更高,如果要增加一个字段,不需要改变表结构,但是一些关联查询会更加麻烦,也不便于维护与后续人员接手。
平常开发,尽量能用横表就不要用纵表,维护成本比较高昂,而且一些关联查询也很麻烦。
2、纵表转换为横表
(1)第一步,我们先把这些字段名以及相应字段的值从纵表中取出来
select r.original_record_id,r.did,r.device_sn,r.mac_address,r.record_time, r.updated_time updated_time, (case r.field_code when 'accumulated_cooking_time' then r.record_value else '' end ) accumulated_cooking_time, (case r.field_code when 'data_version' then r.record_value else '' end) data_version, (case r.field_code when 'loop_num' then r.record_value else '' end) loop_num, (case r.field_code when 'status' then r.record_value else '' end) status from ats_item_record r where item_code = 'GONGMO_AGING'
结果:
通过 case 语句,成功把字段从纵表中取出,但是此时仍算不上一个横表,我们这里的original_record_id 是记录同一行数据的唯一ID,我们这里可以通过这个字段把上面这四行合成一行记录。
注意:这里需要取出每一个字段,都要case一下,有多少个字段,就需要多少次case语句。因为一个case语句,遇到符合条件的when语句之后,后面的会不再执行。
(2)分组,合并相同行,生成横表
select * from ( select r.original_record_id, max(r.did) did, max(r.device_sn) device_sn, max(r.mac_address) mac_address, max(r.record_time) record_time, max(r.updated_time) updated_time, max((case r.field_code when 'accumulated_cooking_time' then r.record_value else '' end )) accumulated_cooking_time, max((case r.field_code when 'data_version' then r.record_value else '' end)) data_version, max((case r.field_code when 'loop_num' then r.record_value else '' end)) loop_num, max((case r.field_code when 'status' then r.record_value else '' end)) status from ats_item_record r where item_code = 'GONGMO_AGING' group by r.original_record_id ) m order by m.updated_time desc;
查询的结果:
注意:这里采用group by 分组的时候,需要给字段加上max函数。用group by 分组的时候,一般搭配聚合函数使用,常见的聚合函数:
- AVG() 求平均数
- COUNT() 求列的总数
- MAX() 求最大值
- MIN() 求最小值
- SUM() 求和
大家注意一下,我把纵表同一条记录的公共字段 r.original_record_id 放到了group by里面,这个字段在纵表中同一条记录相同、唯一,且永远不会改变(相当于以前横表的主键ID),然后把其他字段放到 max 中(因为其他字段要么是相同的,要么是取最大的就可以,要么是只有一个纵表记录有数值其他记录为空,所以这三种情况都可以直接用max),四条记录取最大的更新时间作为同一条记录的更新时间,在逻辑上也是合适的。然后我们把纵表字段 field_code 和 record_value 做了 max() 操作,因为同一条记录里面他们都是唯一存在的,不会发生同一条数据有两个相同的 field_code 记录,所以这样做 max() 也是没有任何问题的。
优化点:
最后这个SQL是可以优化一下的,我们可以把模板字段(r.original_record_id,r.did,r.device_sn,r.mac_address,r.record_time 等),从专门存放模板字段表中全部取出来(同一个逻辑纵表的字段全部取出),然后再代码里面拼接好我们的 max() 部分,作为参数拼接进去执行,这样可以做到通用,每次如果新增加模板字段,我们不需要更改这个SQL语句了(中国移动他们存放手机的参数数据就是这么干的)。
优化后的业务层(组装 SQL 模板的代码),代码如下:
@Override public PageInfo<AtsAgingItemRecordVo> getAgingItemList(AtsItemRecordQo qo) { //1、获取工模老化字段模板 LambdaQueryWrapper<AtsItemFieldPo> queryWrapper = Wrappers.lambdaQuery(); queryWrapper.eq(AtsItemFieldPo::getItemCode, AtsItemCodeConstant.GONGMO_AGING.getCode()); List<AtsItemFieldPo> fieldPoList = atsItemFieldDao.selectList(queryWrapper); //2、组装查询条件 List<String> tplList = Lists.newArrayList(), conditionList = Lists.newArrayList(), validList = Lists.newArrayList(); if (!CollectionUtils.isEmpty(fieldPoList)) { //3、组装动态max查询字段 for (AtsItemFieldPo itemFieldPo : fieldPoList) { tplList.add("max((case r.field_code when '" + itemFieldPo.getFieldCode() + "' then r.record_value else '' end )) " + itemFieldPo.getFieldCode()); validList.add(itemFieldPo.getFieldCode()); } qo.setTplList(tplList); //4、组装动态where查询条件 if (StringUtils.isNotBlank(qo.getDid())) { conditionList.add("AND did like CONCAT('%'," + qo.getDid() + ",'%')"); } if (validList.contains("batch_code") && StringUtils.isNotBlank(qo.getBatchCode())) { conditionList.add("AND batch_code like CONCAT('%'," + qo.getBatchCode() + ",'%')"); } qo.setConditionList(conditionList); } qo.setItemCode(AtsItemCodeConstant.GONGMO_AGING.getCode()); //4、获取老化自动化测试项记录 PageHelper.startPage(qo.getPageNo(), qo.getPageSize()); List<Map<String, Object>> dataList = atsItemRecordDao.selectItemRecordListByCondition(qo); PageInfo pageInfo = new PageInfo(dataList); //5、组装返回结果 List<AtsAgingItemRecordVo> recordVoList = null; if (!CollectionUtils.isEmpty(dataList)) { recordVoList = JSONUtils.copy(dataList, AtsAgingItemRecordVo.class); } pageInfo.setList(recordVoList); return pageInfo; }
优化后的Dao层,代码如下:
public interface AtsItemRecordDao extends BaseMapper<AtsItemRecordPo> { List<Map<String, Object>> selectItemRecordListByCondition(AtsItemRecordQo qo); }
优化后的SQL语句,代码如下:
<select id="selectItemRecordListByCondition" resultType="java.util.HashMap" parameterType="com.galanz.iot.ops.restapi.model.qo.AtsItemRecordQo"> SELECT * FROM ( SELECT r.original_record_id id, max(r.did) did, max(r.device_sn) device_sn, max(r.updated_time) updated_time, max(r.record_time) record_time, <if test="tplList != null and tplList.size() > 0"> <foreach collection="tplList" item="tpl" index="index" separator=","> ${tpl} </foreach> </if> FROM ats_item_record r WHERE item_code = #{itemCode} GROUP BY r.original_record_id ) m <where> <if test="conditionList != null and conditionList.size() > 0"> <foreach collection="conditionList" item="condition" index="index"> ${condition} </foreach> </if> </where> ORDER BY m.updated_time DESC </select>
模板字段表结构(ats_item_field 表),如下所示:
字段名 | 类型 | 长度 | 注释 |
id | bigint | 20 | 主键ID |
field_code | varchar | 32 | 字段编码 |
field_name | varchar | 32 | 字段名称 |
remark | varchar | 512 | 备注 |
created_by | bigint | 20 | 创建人ID |
created_time | datetime | 0 | 创建时间 |
updated_by | bigint | 20 | 更新人ID |
updated_time | datetime | 0 | 更新时间 |
记录表结构(ats_item_record 表),如下所示:
字段名 | 类型 | 长度 | 注释 |
id | bigint | 20 | 主键ID |
did | varchar | 64 | 设备唯一ID |
device_sn | varchar | 32 | 设备sn |
mac_address | varchar | 32 | 设备Mac地址 |
field_code | varchar | 32 | 字段编码 |
original_record_id | varchar | 64 | 原始记录ID |
record_value | varchar | 32 | 记录值 |
created_by | bigint | 20 | 创建人ID |
created_time | datetime | 0 | 创建时间 |
updated_by | bigint | 20 | 更新人ID |
updated_time | datetime | 0 | 更新时间 |
注:original_record_id 是纵转横表后,每条记录的唯一ID,可以看做我们普通横表的主键ID一样的东西
到此 Mysql 纵表转换为横表介绍完成。
总结
到此这篇关于Mysql纵表转换为横表的文章就介绍到这了,更多相关Mysql纵表转换为横表内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了MySQL性能监控软件Nagios的安装及配置教程,这里以CentOS操作系统为环境进行演示,需要的朋友可以参考下...2015-12-14
- 新版 Mysql 中加入了对 JSON Document 的支持,可以创建 JSON 类型的字段,并有一套函数支持对JSON的查询、修改等操作,下面就实际体验一下...2016-08-23
深入研究mysql中的varchar和limit(容易被忽略的知识)
为什么标题要起这个名字呢?commen sence指的是那些大家都应该知道的事情,但往往大家又会会略这些东西,或者对这些东西一知半解,今天我总结下自己在mysql中遇到的一些commen sense类型的问题。 ...2015-03-15- 这篇文章主要介绍了MySQL 字符串拆分操作(含分隔符的字符串截取),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-22
- 一、先说一下为什么要分表:当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。根据个人经验,mysql执行一个sql的过程如下:1...2014-05-31
- 我们自己鼓捣mysql时,总免不了会遇到这个问题:插入中文字符出现乱码,虽然这是运维先给配好的环境,但是在自己机子上玩的时候咧,总得知道个一二吧,不然以后如何优雅的吹牛B。...2015-03-15
- 这几天在centos下装mysql,这里记录一下安装的过程,方便以后查阅Mysql5.5.37安装需要cmake,5.6版本开始都需要cmake来编译,5.5以后的版本应该也要装这个。安装cmake复制代码 代码如下: [root@local ~]# wget http://www.cm...2015-03-15
- 宿主机使用网线的时候,客户机在Bridged Adapter模式下,使用Atheros AR8131 PCI-E Gigabit Ethernet Controller上网没问题。 宿主机使用无线的时候,客户机在Bridged Adapter模式下,使用可选项里唯一一个WIFI选项,Microsoft Virtual Wifi Miniport Adapter也无法上网,故弃之。...2013-09-19
- 首先要声明一点,大部分情况下,修改MySQL密码是需要有mysql里的root权限的...2013-09-11
- MySQL命令行导出数据库: 1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录 如我输入的命令行:cd C:/Program Files/MySQL/MySQL Server 4.1/bin (或者直接将windows的环境变量path中添加该目录) ...2013-09-26
- 一、连接Mysql格式: mysql -h主机地址 -u用户名 -p用户密码1、连接到本机上的MYSQL。首先打开DOS窗口,然后进入目录mysql/bin,再键入命令mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是密...2015-11-08
- Navicat for MySQL注册码用来激活 Navicat for MySQL 软件,只要拥有 Navicat 注册码就能激活相应的 Navicat 产品。这篇文章主要介绍了Navicat for MySQL 11注册码\激活码汇总,需要的朋友可以参考下...2020-11-23
- 这篇文章主要介绍了mysql IS NULL使用索引案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下...2021-08-14
- 这篇文章主要介绍了基于PostgreSQL和mysql数据类型对比兼容,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-25
- 一、准备编译环境,安装所需依赖包yum groupinstall 'Development' -y yum install openssl openssl-devel zlib zlib-devel -y yum install readline-devel pcre-devel ncurses-devel bison-devel cmake -y二、编译安...2015-10-21
- 这篇文章主要介绍了node.js如何操作MySQL数据库,帮助大家更好的进行web开发,感兴趣的朋友可以了解下...2020-10-29
Mysql中 show table status 获取表信息的方法
这篇文章主要介绍了Mysql中 show table status 获取表信息的方法的相关资料,需要的朋友可以参考下...2016-03-12- 这篇文章主要为大家分享了20分钟MySQL基础入门教程,快速掌握MySQL基础知识,真正了解MySQL,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2016-12-02
- 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由数据库(database)、集合(collection)、文档对象(document)三个层次组成。MongoDB对于关系型数据库里的表,但是集合中没有列、行和关...2013-09-11
- 这篇文章主要介绍了Delphi远程连接Mysql的实现方法,需要的朋友可以参考下...2020-06-30