MySQL基于时间字段进行分区的方案总结

MySQL支持的分区类型一共有四种：RANGE，LIST，HASH，KEY。其中，RANGE又可分为原生RANGE和RANGE COLUMNS，LIST分为原生LIST和LIST COLUMNS，HASH分为原生HASH和LINEAR HASH，KEY包含原生KEY和LINEAR HASH。关于这些分区之间的差别，改日另写文章进行阐述。

最近，碰到一个需求，要对表的时间字段（类型：datetime）基于天进行分区。于是遍历MySQL官方文档分区章节，总结如下：

实现方式

主要是以下几种：

1. 基于RANGE

2. 基于RANGE COLUMNS

3. 基于HASH

测试数据

为了测试以上三种方案，特构造了100万的测试数据，放在test表中，test表只有两列：id和hiredate，其中hiredate只包含10天的数据，从2015-12-01到2015-12-10。具体信息如下：

mysql> show create table test\G

*************************** 1. row ***************************

       Table: test

Create Table: CREATE TABLE `test` (

  `id` int(11) DEFAULT NULL,

  `hiredate` datetime DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=latin1

1 row in set (0.00 sec)

mysql> select min(hiredate),max(hiredate) from test;

+---------------------+---------------------+

| min(hiredate)       | max(hiredate)       |

+---------------------+---------------------+

| 2015-12-01 00:00:00 | 2015-12-10 23:59:56 |

+---------------------+---------------------+

1 row in set (0.44 sec)

mysql> select date(hiredate),count(*) from test group by date(hiredate);

+----------------+----------+

| date(hiredate) | count(*) |

+----------------+----------+

| 2015-12-01     |    99963 |

| 2015-12-02     |   100032 |

| 2015-12-03     |   100150 |

| 2015-12-04     |    99989 |

| 2015-12-05     |    99908 |

| 2015-12-06     |    99897 |

| 2015-12-07     |   100137 |

| 2015-12-08     |   100171 |

| 2015-12-09     |    99851 |

| 2015-12-10     |    99902 |

+----------------+----------+

10 rows in set (0.98 sec)

测试的维度

测试的维度主要从两个方面进行，

一、分区剪裁

针对特定的查询，是否能进行分区剪裁（即只查询相关的分区，而不是所有分区）

二、查询时间

鉴于该批测试数据是静止的（即没有并发进行的insert，update和delete操作），数据量也不太大，从这个维度来考量貌似意义也不是很大。

因此，重点测试第一个维度。

基于RANGE的分区方案

在这里，选用了TO_DAYS函数

CREATE TABLE range_datetime(

    id INT,

    hiredate DATETIME

)

PARTITION BY RANGE (TO_DAYS(hiredate) ) (

    PARTITION p1 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p2 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p3 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p4 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p5 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p6 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p7 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p8 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p9 VALUES LESS THAN ( TO_DAYS('') ),

    PARTITION p10 VALUES LESS THAN ( TO_DAYS('') )

);

插入数据并查看特定查询的执行计划

mysql> insert into range_datetime select * from test;

Query OK, 1000000 rows affected (8.15 sec)

Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from range_datetime where hiredate >= '' and hiredate<='';

+----+-------------+----------------+--------------+------+---------------+------+---------+------+--------+-------------+

| id | select_type | table          | partitions   | type | possible_keys | key  | key_len | ref  | rows   | Extra       |

+----+-------------+----------------+--------------+------+---------------+------+---------+------+--------+-------------+

|  1 | SIMPLE      | range_datetime | p7,p8,p9,p10 | ALL  | NULL          | NULL | NULL    | NULL | 400061 | Using where |

+----+-------------+----------------+--------------+------+---------------+------+---------+------+--------+-------------+

1 row in set (0.03 sec)

注意执行计划中的partitions的内容，只查询了p7，p8，p9，p10三个分区，由此来看，使用to_days函数确实可以实现分区裁剪。

基于RANGE COLUMNS的分区方案

RANGE COLUMNS可以直接基于列，而无需像上述RANGE那种，分区的对象只能为整数。

创表语句如下：

CREATE TABLE range_columns (

    id INT,

    hiredate DATETIME

)

PARTITION BY RANGE COLUMNS(hiredate) (

    PARTITION p1 VALUES LESS THAN ( '' ),

    PARTITION p2 VALUES LESS THAN ( '' ),

    PARTITION p3 VALUES LESS THAN ( '' ),

    PARTITION p4 VALUES LESS THAN ( '' ),

    PARTITION p5 VALUES LESS THAN ( '' ),

    PARTITION p6 VALUES LESS THAN ( '' ),

    PARTITION p7 VALUES LESS THAN ( '' ),

    PARTITION p8 VALUES LESS THAN ( '' ),

    PARTITION p9 VALUES LESS THAN ( '' ),

    PARTITION p10 VALUES LESS THAN ('' )

);

插入数据并查看上述查询的执行计划

mysql> insert into range_columns select * from test;

Query OK, 1000000 rows affected (9.20 sec)

Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from range_columns where hiredate >= '' and hiredate<='';

+----+-------------+---------------+--------------+------+---------------+------+---------+------+--------+-------------+

| id | select_type | table         | partitions   | type | possible_keys | key  | key_len | ref  | rows   | Extra       |

+----+-------------+---------------+--------------+------+---------------+------+---------+------+--------+-------------+

|  1 | SIMPLE      | range_columns | p7,p8,p9,p10 | ALL  | NULL          | NULL | NULL    | NULL | 400210 | Using where |

+----+-------------+---------------+--------------+------+---------------+------+---------+------+--------+-------------+

1 row in set (0.11 sec)

同样，使用该分区方案也实现了分区剪裁。

基于HASH的分区方案

因HASH分区对象同样只能为整数，所以我们无法像上述RANGE COLUMNS那种直接引用列，在这里，同样用了TO_DAYS函数进行转换。

创表语句如下：

CREATE TABLE hash_datetime (

   id INT,

   hiredate DATETIME

)

PARTITION BY HASH( TO_DAYS(hiredate) )

PARTITIONS 10;

插入数据并查看上述查询的执行计划

mysql> insert into hash_datetime select * from test;

Query OK, 1000000 rows affected (9.43 sec)

Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from hash_datetime where hiredate >= '' and hiredate<='';

+----+-------------+---------------+-------------------------------+------+---------------+------+---------+------+---------+-------------+

| id | select_type | table         | partitions                    | type | possible_keys | key  | key_len | ref  | rows    | Extra       |

+----+-------------+---------------+-------------------------------+------+---------------+------+---------+------+---------+-------------+

|  1 | SIMPLE      | hash_datetime | p0,p1,p2,p3,p4,p5,p6,p7,p8,p9 | ALL  | NULL          | NULL | NULL    | NULL | 1000500 | Using where |

+----+-------------+---------------+-------------------------------+------+---------------+------+---------+------+---------+-------------+

1 row in set (0.00 sec)

不难看出，使用hash分区并不能有效的实现分区裁剪，至少在本例，基于天的需求中如此。

以上三种方案都是基于datetime的，那么，对于timestamp类型，又该如何选择呢？

事实上，MySQL提供了一种基于UNIX_TIMESTAMP函数的RANGE分区方案，而且，只能使用UNIX_TIMESTAMP函数，如果使用其它函数，譬如to_days，会报如下错误：“ERROR 1486 (HY000): Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed”。

而且官方文档中也提到“Any other expressions involving TIMESTAMP values are not permitted. (See Bug #42849.)”。

下面来测试一下基于UNIX_TIMESTAMP函数的RANGE分区方案，看其能否实现分区裁剪。

针对TIMESTAMP的分区方案

创表语句如下：

CREATE TABLE range_timestamp (

    id INT,

    hiredate TIMESTAMP

)

PARTITION BY RANGE ( UNIX_TIMESTAMP(hiredate) ) (

    PARTITION p1 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-02 00:00:00') ),

    PARTITION p2 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-03 00:00:00') ),

    PARTITION p3 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-04 00:00:00') ),

    PARTITION p4 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-05 00:00:00') ),

    PARTITION p5 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-06 00:00:00') ),

    PARTITION p6 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-07 00:00:00') ),

    PARTITION p7 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-08 00:00:00') ),

    PARTITION p8 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-09 00:00:00') ),

    PARTITION p9 VALUES LESS THAN ( UNIX_TIMESTAMP('2015-12-10 00:00:00') ),

    PARTITION p10 VALUES LESS THAN (UNIX_TIMESTAMP('2015-12-11 00:00:00') )

);

插入数据并查看上述查询的执行计划

mysql> insert into range_timestamp select * from test;

Query OK, 1000000 rows affected (13.25 sec)

Records: 1000000  Duplicates: 0  Warnings: 0

mysql> explain partitions select * from range_timestamp where hiredate >= '' and hiredate<='';

+----+-------------+-----------------+--------------+------+---------------+------+---------+------+--------+-------------+

| id | select_type | table           | partitions   | type | possible_keys | key  | key_len | ref  | rows   | Extra       |

+----+-------------+-----------------+--------------+------+---------------+------+---------+------+--------+-------------+

|  1 | SIMPLE      | range_timestamp | p7,p8,p9,p10 | ALL  | NULL          | NULL | NULL    | NULL | 400448 | Using where |

+----+-------------+-----------------+--------------+------+---------------+------+---------+------+--------+-------------+

1 row in set (0.00 sec)

同样也能实现分区裁剪。

总结：

1. 经过对比，个人倾向于第二种方案，即基于RANGE COLUMNS的分区实现。

2. 在5.7版本之前，对于DATA和DATETIME类型的列，如果要实现分区裁剪，只能使用YEAR() 和TO_DAYS()函数，在5.7版本中，又新增了TO_SECONDS()函数。

3. 其实LIST也能实现基于天的分区方案，但在这个需求上，相比于RANGE，还是显得很鸡肋。

4. TIMESTAMP类型的列，只能基于UNIX_TIMESTAMP函数进行分区，切记！

参考：

http://dev.mysql.com/doc/refman/5.7/en/partitioning.html

MySQL基于时间字段进行分区的方案总结的更多相关文章

mysql基于“时间”的盲注
无需页面报错,根据页面响应时间做判断! mysql基于时间的盲注 =================================================================== ...
mysql中时间字段datetime怎么判断为空和不为空
mysql中时间字段datetime怎么判断为空和不为空一般为空都用null表示,所以一句sql语句就可以.select * from 表名 where 日期字段 is null;这里要注意null的 ...
MySQL日期时间字段
mysql支持的日期时间类型有:DATETIME. TIMESTAMP.DATE.TIME.YEAR. 几种类型比较如下: DATETIME DATETIME 用于表示年月日时分秒,是 DATE和 ...
MySQL数据库时间字段按年月日显示并多字段去重查询
应用服务长久运行,难免要导出一些统计报表. 现在有一个日志表,记录了各种日志,需要导出十月份的登录日志,要求时间按日期显示,且每天用户登陆要去重. 先看日志表的字段构成: logType等于2的是登陆 ...
mysql 增加时间字段
alter table sign_customer add COLUMN update_time timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE ...
MySQL的时间字段转换
使用函数DATE_FORMAT(date,format)进行转换,如 # 输出2017 :: select date_format(now(),'%Y-%c-%d %h:%i:%s'); # 输出20 ...
mysql 创建时间字段
alter table table1 add order_date datetime null; mysql> select * from table1; +----------+------- ...
mysql 时间字段的函数 timestamp
Mysql 里格式时间字段的函数 DATE_FORMAT unix_timestamp - 墨墨修行的日志 - 网易博客http://jjuanxi.blog.163.com/blog/static ...
在mysql数据库中关于日期时间字段的处理
在mysql数据库中关于日期时间字段的处理在开发中,日期时间字段一般有如下几种设计假设要获取2013-08-15日到2013-08-16日之间的记录 1. 直接使用日期时间类字段相关sql语句如 ...

随机推荐

Linux Shell 编程中的特殊符号
一.井号 # 1.在脚本文件中对一行进行注释. 2.在引号和\符号后不是注释,只是#号本身: echo "12 # hehe" echo '12 # hehe' echo 12 \ ...
不用css3的响应式img（按比例缩小图片）
有时候自己为了控制图片的响应式,按比例缩小放大图片,如果解决这个问题,用js吧,很麻烦.也会损失很大的加载运行速度等:所以我们还是用css来解决这个问题,用css来强制按比例压缩图片的高度或宽度,看代 ...
Python模块之常用模块，反射以及正则表达式
常用模块 1. OS模块用于提供系统级别的操作,系统目录,文件,路径,环境变量等 os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径 os.chdir("di ...
Smart3D系列教程7之《手动配置S3C索引加载全部的瓦片数据》
一.前言迄今为止,Wish3D已经出品推出了6篇系列教程,从倾斜摄影的原理方法.采集照片的技巧.Smart3D各模块的功能应用.小物件的照片重建.大区域的地形重建到DSM及正射影像的处理生产,立足于 ...
POJ 2519
又是一个水题?? 不过还是弄是很久... 在蒟蒻的路上越走越远 , 好了讲题新生晚会 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: ...
JS 的事件委托机制
以前写上图所示的鼠标点击触发事件,一般都是用如下所示的给每一个表示列表的标签绑定一个click事件(演示用的例子的框架是React): 毫无疑问,这样是比较繁琐的,以后维护修改改个函数名什么的还不方便 ...
Spring之注入的几种方式
普通注入在配置文件里  <bean id="user1" class="entity.User"> < ...
第一篇博客用笨办法学python-14 提示和传递
# 代码如下: usr_name = input("")script = input("")prompt = '> 'print("hi %s, ...
SQL Server数据库镜像的页面自动修复原理
SQL Server数据库镜像的页面自动修复原理主库页面损坏镜像库页面损坏 LSN用来保证事务的时序 LSN保存在每个数据页面的页头在同一台机器,内存中的数据页和磁盘中的数据页保持同步依靠的是数 ...
ASP.NET Core 数据保护（Data Protection 集群场景）【下】
前言接[中篇],在有一些场景下,我们需要对 ASP.NET Core 的加密方法进行扩展,来适应我们的需求,这个时候就需要使用到了一些 Core 提供的高级的功能. 本文还列举了在集群场景下,有时候 ...

MySQL基于时间字段进行分区的方案总结

MySQL基于时间字段进行分区的方案总结的更多相关文章

随机推荐

热门专题