一.什么是水平分库 将一张表水平切分到多个库中 1.1分片原则 1.需要分片的表是少数的 2.能不切分尽量不要切分 3.日志表可以采取归档方式 4.选择合适的切分规则和分片建,确保数据分片均匀,否则依然存在性能瓶颈 5.尽量避免跨分片join操作,保证关联操作表在同一分片 1.2分片后如何处理查询 1.根据简单分片规则,对分片键进行路由到正确的后端物理数据库 2.如果不是使用分片键的话,将会遍历后端数据库,极大消耗性能 二.水平切分步骤 2.1根据业务状态确定要进行水平切分的表 读写频繁,访问量…

  本文我们来介绍下MyCat的分库分表操作 分库分表 一.分片规则介绍   在rule.xml中定义了各种myCat支持的分片规则. 取模mod-long 自然月分片 sharding-by-month 按日期(天)分片sharding-by-date 按单月小时拆分sharding-by-hour 范围约定,提前规划好分片字段某个范围属于哪个分片,auto-sharding-long 范围求模分片 取模范围约束sharding-by-pattern 分片枚举sharding-by-intfi…

汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 第一次引入文件组的概念:http://www.cnblogs.com/dunitian/p/5276431.html 上次说了其他的解决方案(http://www.cnblogs.com/dunitian/p/6041745.html),就是没有说水平分库,这次好好说下. 上次共享的第一份大数据,这次正好来演示一下水平分库 1.模拟部分数据 2.创建索引后,发现可以根据日期来分组 按数…

之前说过,如果一个数据库中要存储的数据量整体比较小,但是其中一个表存储的数据比较多,比如日志表,这时候就要考虑分表存储了:但是如果一个数据库整体存储的容量就比较大,该怎么办呢?这时候就需要考虑分库了,就是建立多个数据库保存数据.这里以答案为例,就算调查对象不是很多,但是参与调查的人数非常多,那么需要保存的数据量就会非常大,怎样将答案以一种规则保存到不同的数据库中就是现在需要考虑的问题(查询分库的问题未解决,先存档). 一.分库方法 分库分为水平分库和竖直分库两种类型. (1)水平分库 数据库之间…

汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 第一次引入文件组的概念:http://www.cnblogs.com/dunitian/p/5276431.html 上次说了其他的解决方案(http://www.cnblogs.com/dunitian/p/6041745.html),就是没有说水平分库,这次好好说下. 上次共享的第一份大数据,这次正好来演示一下水平分库 1.模拟部分数据 2.创建索引后,发现可以根据日期来分组 按数…

  汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 第一次引入文件组的概念:http://www.cnblogs.com/dunitian/p/5276431.html 上次说了其他的解决方案(http://www.cnblogs.com/dunitian/p/6041745.html),就是没有说水平分库,这次好好说下. 上次共享的第一份大数据,这次正好来演示一下水平分库 1.模拟部分数据 2.创建索引后,发现可以根据日期来分组…

一.什么是垂直分库 将一类功能的表从一个实例切分到另一个实例,横向扩展实例,增加写负载 目标:将1个实例的4类表拆分多4个实例中 二.垂直切分步骤 2.1收集分析业务模块间的关系,能分几个库 2.2全量复制需要的数据到其他实例 root@localhost 21:51: [imooc_db]> show tables; +-----------------------+ | Tables_in_imooc_db | +-----------------------+ | customer_bal…

1.需求分析…

一.前言 小编最近公司有个新的需求,数据量比较大,要涉及到分库分表.大概了解了一些主流的中间件,使用和网上资料比较多的是Mycat和sharding-jdbc,小编比较倾向于Mycat.原因很简单就是参考的资料比较多,教学比较多,小编经过一天的尝试,终于完成了!这篇主要是实战,一些知识点请自行百度,小编也是没有了解太多,最主要的目的是看一下效果!网上全使用Docker还是不多,而且很迷糊,小编进行补充,让大家少走弯路!! 写在前面: 本次简单的进行分库分表测试,测试分片规则是mod-long,简…

一.mycat的安装 环境准备:准备一台虚拟机192.168.152.128 1. 下载mycat cd /softwarewget http:-linux.tar.gz 2. 解压mycat tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 3. 剪切mycat到/usr/local目录下 mv /software/mycat /usr/local 4. 启动mycat /usr/local/mycat/bin/myc…