分片规则概述 在数据切分处理中,特别是水平切分中,中间件最终要的两个处理过程就是数据的切分.数据的聚合.选择合适的切分规则,至关重要,因为它决定了后续数据聚合的难易程度,甚至可以避免跨库的数据聚合处理. 前面讲了数据切分中重要的几条原则,其中有几条是数据冗余,表分组(Table Group),这都是业务上规避跨库join的很好的方式,但不是所有的业务场景都适合这样的规则,因此本章将讲述如何选择合适的切分规则. Mycat全局表 如果你的业务中有些数据类似于数据字典,比如配置文件的配置,常用业务的…

一.MyCat的简介 MyCat高可用.负载均衡架构图: 详细知识点:  MySQL分布式集群之MyCAT(一)简介(修正) 二.MyCat的schema.xml讲解 详细知识点:MySQL分布式集群之MyCAT(二)schema详解(修正) 三.MyCat的分片规则 详细知识点:MySQL分布式集群之MyCAT(三)rule的分析 四.MyCat调优 详细知识点:MySQL分布式集群之MyCAT调优初探(四)…

一.枚举法<tableRule name="sharding-by-intfile">    <rule>      <columns>user_id</columns>      <algorithm>hash-int</algorithm>    </rule>  </tableRule><function name="hash-int" class="…

一.Mycat分片路由原理 我们先来看下面的一个SQL在Mycat里面是如何执行的: , ); 有3个分片dn1,dn2,dn3, id=5000001这条数据在dn2上,id=10000001这条数据在dn3上. 查询时可能有出现的问题: 1)全部扫描一遍dn1  dn2  dn3,结果导致性能浪费. 2)只扫描某个片.漏掉数据的情况. 总结: 不能多扫——>性能不足 也不能少——>漏掉数据 那么Mycat是如何解决上面的问题的呢? Mycat使用Druid的DruidParser作为分析器…

MyCAT支持多种分片规则,下面测试的这种是分片枚举.适用场景,列值的个数是固定的,譬如省份,月份等. 在这里,需定义三个值,规则均是在rule.xml中定义. 1. tableRule 2. function 3. mapFile 首先,定义tableRule, <tableRule name="sharding-by-intfile-test"> <rule> <columns>province</columns> <algor…

实现方式:单月内按照小时拆分,最小粒度是小时,一天最多可以有24个分片,最少1个分片,下个月从头开始循环 优点:使数据按照小时来进行分时存储,颗粒度比日期(天)分片要小,适用于数据采集类存储分片 缺点:需要月末手动清理数据 配置示例: <tableRule name="sharding-by-hour"> <rule> <columns>create_time</columns> <algorithm>sharding-by-…

实现方式:按照日期来分片 优点:使数据按照日期来进行分时存储 缺点:由于数据是连续的,所以该方案不能有效的利用资源 配置示例: <tableRule name="sharding-by-date"> <rule> <columns>create_time</columns> <algorithm>sharding-by-date</algorithm> </rule> </tableRule>…

实现方式:根据字符串的子串(必须是数字)计算分区号(由调用方传递参数,显示指定分区号),例如,id=05-12232323,其中 id 是从 startIndex = 0,size=2,即截取的子串是 05 ,05 就是获取的分区,如果大于分区数,则分配到 defaultPartition 分区中 优点:可以在运行阶段,由应用自主决定路由到那个分片 缺点:需要应用实现分片规则 配置示例: <tableRule name="rule1"> <rule> <c…

实现方式:切分规则根据配置中输入的数值n.此种分片规则将数据分成n份(通常dn节点也为n),从而将数据均匀的分布于各节点上. 优点:这种策略可以很好的分散数据库写的压力.比较适合于单点查询的情景 缺点:不方便扩展:出现了范围查询,就需要MyCAT去合并结果,当数据量偏高的时候,这种跨库查询+合并结果消耗的时间有可能会增加很多,尤其是还出现了order by的时候 配置示例: <tableRule name="mod-long"> <rule> <colum…

实现方式:切分规则根据文件(partition-hash-int.txt)配置的可能的枚举来进行分片,此种分片规则理解为枚举分区,会比较适合于取值固定的场合,比如说省份(固定值) 优点:适用于按照省份或者区县来拆分数据类业务 缺点:其他非枚举情况不适合 配置示例: <tableRule name="sharding-by-intfile"> <rule> <columns>province_id</columns> <algorit…