MySQL 表分区详解MyiSam引擎和InnoDb 区别(实测)
一、什么是表分区
通俗地讲表分区是将一大表,根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。
如:某用户表的记录超过了1000万条,那么就可以根据入库日期将表分区,也可以根据所在地将表分区。当然也可根据其他的条件分区。
二、为什么要对表进行分区
为了改善大型表以及具有各种访问模式的表的可伸缩性,可管理性和提高数据库效率。
分区的一些优点包括:
1)、与单个磁盘或文件系统分区相比,可以存储更多的数据。
2)、对于那些已经失去保存意义的数据,通常可以通过删除与那些数据有关的分区,很容易地删除那些数据。相反地,在某些情况下,添加新数据的过程又可以通过为那些新数据专门增加一个新的分区,来很方便地实现。通常和分区有关的其他优点包括下面列出的这些。MySQL分区中的这些功能目前还没有实现,但是在我们的优先级列表中,具有高的优先级;我们希望在5.1的生产版本中,能包括这些功能。
3)、一些查询可以得到极大的优化,这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内,这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改,所以在第一次配置分区方案时还不曾这么做时,可以重新组织数据,来提高那些常用查询的效率。
4)、涉及到例如SUM()和COUNT()这样聚合函数的查询,可以很容易地进行并行处理。这种查询的一个简单例子如 “SELECT salesperson_id, COUNT (orders) as order_total FROM sales GROUP BY salesperson_id;”。通过“并行”,这意味着该查询可以在每个分区上同时进行,最终结果只需通过总计所有分区得到的结果。
5)、通过跨多个磁盘来分散数据查询,来获得更大的查询吞吐量。
三、分区类型
· RANGE分区:基于属于一个给定连续区间的列值,把多行分配给分区。
· LIST分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。
· HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。
· KEY分区:类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL 服务器提供其自身的哈希函数。必须有一列或多列包含整数值。
1.RANGE分区
基于属于一个给定连续区间的列值,把多行分配给分区。这些区间要连续且不能相互重叠,使用VALUES LESS THAN操作符来进行定义。以下是实例。
2.LIST分区
类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。
LIST分区通过使用“PARTITION BY LIST(expr)”来实现,其中“expr” 是某列值或一个基于某个列值、并返回一个整数值的表达式,然后通过“VALUES IN (value_list)”的方式来定义每个分区,其中“value_list”是一个通过逗号分隔的整数列表。
3.HASH分区
基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。
要使用HASH分区来分割一个表,要在CREATE TABLE 语句上添加一个“PARTITION BY HASH (expr)”子句,其中“expr”是一个返回一个整数的表达式。它可以仅仅是字段类型为MySQL 整型的一列的名字。此外,你很可能需要在后面再添加一个“PARTITIONS num”子句,其中num 是一个非负的整数,它表示表将要被分割成分区的数量。
4.KSY分区
类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL 服务器提供其自身的哈希函数。必须有一列或多列包含整数值。
不同的表分区对比如下:
下面来操作MySQL表分实例操作主要讲解 Range分区技术
注意为了查看方便我这边对mysql操作都是用客户端工具Navicat For Mysql 进行连接操作。
1.创建分区表,按日期和年份拆分 使用的是 myisam 引擎
-- 创建表分区,按日期的年份拆分
create table part_tab(c1 int default null,c2 varchar(30) default null,c3 date default null) engine=myisam
PARTITION by range(year(c3))(
PARTITION p0 values less than(2007),
PARTITION p1 values less than(2008),
PARTITION p2 values less than(2009),
PARTITION p3 values less than(2010),
PARTITION p4 values less than(2011),
PARTITION p5 values less than(2012),
PARTITION p6 values less than(2013),
PARTITION p7 values less than(2014),
PARTITION p8 values less than(2015),
PARTITION p9 values less than(2016),
PARTITION p10 values less than MAXVALUE);
-- 最后一行 ,考虑可能 最大值 默认分区
2.创建未分区表,主要用于作对比表字段和结构和分区表一模一样。
create table no_part_tab(c1 int default null,c2 varchar(30) default null,c3 date default null) engine=myisam;
3.创建测试数据这里使用存储过程快速创建100万行数据测试数据越多越方便查看,这里只测试100万行根据个人需求插入,因只是用日期分区,其他列不住细节深究。只关注日期列。
create PROCEDURE load_part_tab()
begin
declare i int default 0;
while i<1000000
do
insert into part_tab values(i,'test data part',
adddate('2007-01-01',(rand(i)*36520) mod 3652));
set i=i+1;
end while;
end;
4.执行存储过程插入数据
call load_part_tab();
5.进入查看我们刚才的分区表,数据库安装都是常规的路径,测试数据名称为test
[root@localhost /]# cd usr/local/mysql/data/test
[root@localhost test]# ls
显示如上信息说明已经创建完成。
6.复制数据到未分区表no_part_tab
insert into no_part_tab select *from part_tab;
7.测试SQL 的性能分别查询1年的数据。
7.1)分区表的性能
7.2)未分区表的性能
查询时间非常明显的区别,注意数据量越大越明显。
8.为何会分区会有如此大的区别我们通过查询计划分析。
8.1)分区的查询计划影响的行数是:99813
8.2)未分区查询计划影响的行数是:1000000
很明显查询条件的数据是在p1分区 所以查询的只会查询这分区,查询效果就显而易见。
9.增加未索引字段查询
select * from part_tab where c3>date'2007-01-01' and c3<date'2017-12-31' and c2='mysql';
查看执行时间2.55s
select * from no_part_tab where c3>date'2007-01-01' and c3<date'2017-12-31' and c2='mysql';
查看执行时间11.16s
对比时间差距还是很大的具体查询时间根据个人计算机性能已经数据大小进行测试,数据量越大越明显。
四.innodb表分区
在innodb数据库引擎中要把分区技术做成功必须设置表为独立表空间特别注意这点。
1.什么是共享表空间和独立表空间
贡献表空间已经独立表空间都是针对数据的存储方式而言的。
贡献表空间:某一个数据库的所有的表数据,索引文件全部放在一个文件中,默认这个共享表空间的文件路径在data目录下。默认的文件名为ibdata1初始大小为10M。
独占表空间:每个表都将会生成意独立文件方式来进行存储,每个表都有一个.frm表描述,还有一个.dbd文件.其中这个文件包括了单独一个表数据内容以及索引内容,默认情况下它的存储位置也是在表的位置之中。
2.共享表空间:
优点:
可以放表空间分成多文件存放各个磁盘上(表空间文件大小不受表大小的限制,如一个表可以分布在不同的文件上)。
数据和文件放一起方便管理。
缺点:
所有的数据和索引存放到一个文件中讲有一个很大的文件,虽然可以把一个大文件分成多个小文件,但是多个表及索引在表空间中混合存储,这样对于一个表做了大量删除操作后表空间中将会有大量的空隙,特别是对于统计分析,日志系统这类应用最不合适用共享表空间。
3.实际操作
开启innodb数据库引擎独立表空间。
编辑my.cnf 增加innodb_file_per_table=1
[root@localhost test]# vi /etc/my.cnf
只有设置了innodb 引擎的独立表空间才能做成功表分区,特别注意。
MySQL 表分区详解MyiSam引擎和InnoDb 区别(实测)的更多相关文章
- oracle表分区详解
原文来自:http://www.cnblogs.com/leiOOlei/archive/2012/06/08/2541306.html oracle表分区详解 从以下几个方面来整理关于分区表的概念及 ...
- SQL Server表分区详解
原文:SQL Server表分区详解 什么是表分区 一般情况下,我们建立数据库表时,表数据都存放在一个文件里. 但是如果是分区表的话,表数据就会按照你指定的规则分放到不同的文件里,把一个大的数据文件拆 ...
- Mysql加锁过程详解(5)-innodb 多版本并发控制原理详解
Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...
- Mysql加锁过程详解(9)-innodb下的记录锁,间隙锁,next-key锁
Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...
- mysql分表和表分区详解
为什么要分表和分区? 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能 ...
- MySQL的表分区详解
这篇文章主要介绍了MySQL的表分区,例如什么是表分区.为什么要对表进行分区.表分区的4种类型详解等,需要的朋友可以参考下 一.什么是表分区通俗地讲表分区是将一大表,根据条件分割成若干个小表.mysq ...
- 【mysql】mysql分表和表分区详解
为什么要分表和分区? 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能 ...
- mysql数据库表分区详解(数量过大的数据库表通过分区提高查询速度)
这篇文章主要介绍了MySQL的表分区,例如什么是表分区.为什么要对表进行分区.表分区的4种类型详解等,需要的朋友可以参考下 一.什么是表分区通俗地讲表分区是将一大表,根据条件分割成若干个小表.mysq ...
- MySQL的表分区详解 - 查看分区数据量,查看全库数据量----转http://blog.csdn.net/xj626852095/article/details/51245844
查看分区数据量,查看全库数据量 USE information_schema; SELECT PARTITION_NAME,TABLE_ROWS FROM INFORMATION_SCHEMA.PAR ...
随机推荐
- 创建GitHub博客
1. 创建GitHub账号 GitHub技术博客首先需要GitHub账户,请在官网按照步骤自行注册账号. 2. 创建博客仓库 使用注册的账户登录,然后点击创建仓库,输入项目信息如下所示,注意项目名称规 ...
- nginx+webpy配置
之前搞app时候学的webpy,一直用的自带webserver,最近研究nginx一段时间,决定二者结合玩一下~ 把搭建的要点总结下,说不定哪天还得用——其实平时手挺懒的... 1 必备模块和背景知识 ...
- With great power comes great responsibility
We trust you have received the usual lecture from the local SystemAdministrator. It usually boils do ...
- 25条提高iOS App性能的建议和技巧
这篇文章来自iOS Tutorial Team 成员 Marcelo Fabri, 他是 Movile 的一个iOS开发者. Check out his personal website or fol ...
- ASP.NET MVC cs类中根据Controller和Action生成URL
var Url = new UrlHelper(HttpContext.Current.Request.RequestContext); Url.Action("AnnounceDetail ...
- google 在线代理浏览
谷歌访问不了,你又N多方法,比如搭建VPN,买VPN,或查找google多个IP访问, 或通过第三方反代理网站访问, 或通过客户端代理(类似goagent)等 下面罗列出可以访问google的几个代理 ...
- SignalR 2.1 简单入门项目
概述 SignalR是通讯框架,前台Web页面与后台服务实现数据的交互.ASP.NET SignalR 是一个为 ASP.NET 开发人员的库,简化了将实时 web 功能添加到应用程序的过程.实时We ...
- vmware workstation9.0 RHEL5.8 oracle 10g RAC安装指南及问题总结
一,虚拟机规划 (1)虚拟机:添加三块网卡 eth0 eth1 eth2 ,分别用于内网,心跳,外网RAC1 内网:192.168.1.10/24 心跳:192.168.2.10/24 VIP:1 ...
- [PHP]基本排序(冒泡排序、快速排序、选择排序、插入排序、二分法排序)
冒泡排序: function bubbleSort($array){ $len=count($array); //该层循环控制 需要冒泡的轮数 for($i=1;$i<$len;$i++){ / ...
- Knockout.js随手记(1)
新的开始,knockout.js 1.首先去http://knockoutjs.com/index.html下载knockout.js,最新的版本是2.3 2.知道什么是Knockout?它是个Jav ...