192.168.199.75 MySQL 、 MyCAT master
192.168.199.74 MySQL slave
192.168.199.76 MySQL standby master

如果说上面这张表不足以说明实验模型,那接下来再给一张图好了,如下所示:

 
实验模型

我想这样看来的话,各个节点布了哪些组件,节点间的角色关系应该一目了然了吧

实验环境规划好了以后,接下来进行具体的部署与实验过程,首先当然是 MyCAT代理的部署


MyCAT 部署

关于该部分,网上教程实在太多了,但最好还是参考官方文档来吧,下面也简述一下部署过程

  • 下载 MyCAT并解压安装

这里安装的是 MyCAT 1.5

wget https://raw.githubusercontent.com/MyCATApache/Mycat-download/master/1.5-RELEASE/Mycat-server-1.5.1-RELEASE-20161130213509-linux.tar.gz
tar -zxvf Mycat-server-1.5.1-RELEASE-20161130213509-linux.tar.gz
mv mycat /usr/local/
  • 启动 MyCAT
./mycat start
 
MyCAT 启动日志
  • MyCAT连接测试
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
 
MyCAT 连接成功

MyCAT 配置

官网上对于这一部分的描述是非常详细的,MyCAT 配置主要涉及三个 XML配置文件:

  • server.xml:MyCAT框架的系统参数/用户参数配置文件
  • schema.xml: MyCAT框架的逻辑库表与分片的配置文件
  • rule.xml :MyCAT框架的逻辑库表分片规则的配置文件

用如下图形可以形象地表示出这三个 XML配置文件的配置内容和相互关系:

 
三个与 MyCAT相关的 xml配置

下面来进入具体的实验环节 ,这也是围绕 MyCAT提供的几大主要功能展开的,主要涉及三个方面

  • 分库分表
  • 读写分离
  • 主备切换

实验之前,我们先给出公共的 server.xml文件的配置,这部分后续实验过程中并不修改,其也就是定义了系统参数和用户参数:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
<system>
<property name="defaultSqlParser">druidparser</property>
<!-- <property /> 这块诸多的property配置在此就不配置了,参照官网按需配置 -->
</system>
<user name="test">
<property name="password">test</property>
<property name="schemas">TESTDB</property>
</user> <user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user> </mycat:server>

分库分表实验

预期实验效果:通过 MyCAT代理往一张逻辑表中插入的多条数据,在后端自动地分配在不同的物理数据库表上

我们按照本文 第二节【环境规划】中给出的实验模型图来给出如下的 MyCAT逻辑库配置文件 schema.xml 和 分库分表规则配置文件 rule.xml

  • 准备配置文件

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/" > <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="travelrecord" dataNode="dn1,dn2" rule="sharding-by-month" />
</schema> <dataNode name="dn1" dataHost="testhost" database="db1" />
<dataNode name="dn2" dataHost="testhost" database="db2" /> <dataHost name="testhost" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="localhost:3306" user="root" password="xxxxxx">
<readHost host="hostS1" url="192.168.199.74:3306" user="root" password="xxxxxx" />
</writeHost>
<writeHost host="hostM2" url="192.168.199.76:3306" user="root" password="xxxxxx">
</writeHost>
</dataHost> </mycat:schema>

其中定义了实验用到的 hostM1、hostS1 和 hostM2

rule.xml

    <tableRule name="sharding-by-month">
<rule>
<columns>create_date</columns>
<algorithm>partbymonth</algorithm>
</rule>
</tableRule> <function name="partbymonth"
class="org.opencloudb.route.function.PartitionByMonth">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2018-11-01</property>
</function>

这里配置了 sharding-by-month的分库分表规则,即按照表中的 create_date字段进行分割,从 2018-11-01日期开始,月份不同的数据落到不同的物理数据库表中

  • 在三个物理节点数据库上分别创建两个库 db1和 db2
create database db1;
create database db2;
  • 连接 MyCAT
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
  • 通过 MyCAT来创建数据库 travelrecord
create table travelrecord (id bigint not null primary key,city varchar(100),create_date DATE);
  • 通过 MyCAT来往travelrecord表中插入两条数据
insert into travelrecord(id,city,create_date)  values(1,'NanJing','2018-11-3');
insert into travelrecord(id,city,create_date) values(2,'BeiJing','2018-12-3');
 
通过 MyCAT往逻辑库中插入数据

由于插入的这两条记录的 create_date分别是 2018-11-3和 2018-12-3,而我们配的分库分表的规则即是根据 2018-11-01这个日期为起始来进行递增的,按照前面我们配的分片规则,理论上这两条记录按照 create_date日期字段的不同,应该分别插入到 hostM1的 db1和 db2两个不同的数据库中。

  • 验证一下数据分片的效果
 
数据分片的效果

由于 hostM1和 hostS1组成了 主-从库 关系,因此刚插入的两条数据也应该相应自动同步到 hostS1的 db1和 db2两个数据库中,不妨也来验证一下:

 
主从数据库同步也是OK的

读写分离实验

预期实验效果:开启了 MyCAT的读写分离机制后,读写数据操作各行其道,互不干扰

此节实验用到的配置文件 schema.xml 和 rule.xml基本和上面的【分库分表】实验没什么不同,只是我们需要关注一下 schema.xml配置文件中 <dataHost />标签里的 balance字段,它是与读写分离息息相关的配置:

因此我们就需要弄清楚 <dataHost /> 标签中 balance参数的含义:

  • balance="0":不开启读写分离机制,即读请求仅分发到 writeHost上
  • balance="1":读请求随机分发到当前 writeHost对应的 readHost和 standby writeHost上
  • balance="2":读请求随机分发到当前 dataHost内所有的 writeHost / readHost上
  • balance="3":读请求随机分发到当前 writeHost对应的 readHost上

我们验证一下 balance="1"的情况,即开启读写分离机制,且读请求随机分发到当前 writeHost对应的 readHost和 standby writeHost上,而对于本文来讲,也即:hostS1 和 hostM2 上

我们来做两次数据表的 SELECT读操作:

mysql> select * from travelrecord limit 6;
+----+----------+-------------+
| id | city | create_date |
+----+----------+-------------+
| 3 | TianJing | 2018-11-04 |
| 5 | ShenYang | 2018-11-05 |
| 4 | Wuhan | 2018-12-04 |
| 6 | Harbin | 2018-12-05 |
+----+----------+-------------+
4 rows in set (0.08 sec) mysql> select * from travelrecord limit 6;
+----+---------+-------------+
| id | city | create_date |
+----+---------+-------------+
| 2 | BeiJing | 2018-12-03 |
| 8 | WuXi | 2018-12-06 |
| 1 | NanJing | 2018-11-03 |
| 7 | SuZhou | 2018-11-06 |
+----+---------+-------------+
4 rows in set (0.01 sec)

然后我们取出 mycat.log日志查看一下具体详情,我们发现第一次 select读操作分发到了 hostM2上:

 
第一次 select读操作分发到了 hostM2上

而第二次 select读操作分发到了 hostS1上:

 
第二次 select读操作分发到了 hostS1上

主备切换实验

预期实验效果:开启 MyCAT的主备机制后,当主库宕机时,自动切换到备用机进行操作

关于主备切换,则需要弄清楚 <dataHost /> 标签中 switchType参数的含义:

  • switchType="-1":不自动切换主备数据库
  • switchType="1":自动切换主备数据库
  • switchType="2":基于MySQL主从复制的状态来决定是否切换,需修改heartbeat语句:show slave status
  • switchType="3":基于Galera(集群多节点复制)的切换机制,需修改heartbeat语句:show status like 'wsrep%'

此处验证一下 Mycat的主备自动切换效果。为此首先我们将 switchType="-1" 设置为 switchType="1",并重启 MyCat服务:

<dataHost name="testhost" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

在本实验环境中,在 hostM1 和 hostM2均正常时,默认写数据时是写到 hostM1

  • 接下来手动停止 hostM1 上的 MySQL数据库来模拟 hostM1 宕机:
systemctl stop mysqld.service

接下来再通过 MyCat插入如下两条数据:

insert into travelrecord(id,city,create_date)  values(3,'TianJing','2018-11-4');
insert into travelrecord(id,city,create_date) values(4,'Wuhan','2018-12-4');

效果如下:

 
hostM1宕机后,备用hostM2升级为主写节点
  • 此时,我们恢复 hostM1,但接下来的数据写入依然进入 hostM2
insert into travelrecord(id,city,create_date)  values(5,'ShenYang','2018-11-5');
insert into travelrecord(id,city,create_date) values(6,'Harbin','2018-12-5');
 
虽然hostM1恢复,但依然不是主写节点
  • 接下来手动让 hostM2宕机,看 hostM1 是否能升级为主写节点

再插入两条数据:

insert into travelrecord(id,city,create_date)  values(7,'SuZhou','2018-11-6');
insert into travelrecord(id,city,create_date) values(8,'WuXi','2018-12-6');
 
hostM2宕机后,hostM1再次升级为主写节点

很明显,答案是肯定的


后 记

由于能力有限,若有错误或者不当之处,还请大家批评指正,一起学习交流!

作者:CodeSheep
链接:https://www.jianshu.com/p/d8b9da291a89
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

基于代理的数据库分库分表框架 Mycat实践的更多相关文章

  1. Mysql系列五:数据库分库分表中间件mycat的安装和mycat配置详解

    一.mycat的安装 环境准备:准备一台虚拟机192.168.152.128 1. 下载mycat cd /softwarewget http:-linux.tar.gz 2. 解压mycat tar ...

  2. 当当开源sharding-jdbc,轻量级数据库分库分表中间件

    近期,当当开源了数据库分库分表中间件sharding-jdbc. Sharding-JDBC是当当应用框架ddframe中,从关系型数据库模块dd-rdb中分离出来的数据库水平分片框架,实现透明化数据 ...

  3. 数据库分库分表(sharding)系列【转】

    原文地址:http://www.uml.org.cn/sjjm/201211212.asp数据库分库分表(sharding)系列 目录; (一) 拆分实施策略和示例演示 (二) 全局主键生成策略 (三 ...

  4. 数据库分库分表(sharding)系列

    数据库分库分表(sharding)系列     目录; (一) 拆分实施策略和示例演示 (二) 全局主键生成策略 (三) 关于使用框架还是自主开发以及sharding实现层面的考量 (四) 多数据源的 ...

  5. Mysql系列四:数据库分库分表基础理论

    一.数据处理分类 1. 海量数据处理,按照使用场景主要分为两种类型: 联机事务处理(OLTP) 面向交易的处理系统,其基本特征是原始数据可以立即传送到计算机中心进行处理,并在很短的时间内给出处理结果. ...

  6. sharding-jdbc,轻量级数据库分库分表中间件

    Sharding-JDBC是当当应用框架ddframe中,从关系型数据库模块dd-rdb中分离出来的数据库水平分片框架,实现透明化数据库分库分表访问.Sharding-JDBC是继dubbox和ela ...

  7. php面试专题---mysql数据库分库分表

    php面试专题---mysql数据库分库分表 一.总结 一句话总结: 通过数据切分技术将一个大的MySQLServer切分成多个小的MySQLServer,既攻克了写入性能瓶颈问题,同一时候也再一次提 ...

  8. 分布式事务-Sharding 数据库分库分表

      Sharding (转)大型互联网站解决海量数据的常见策略 - - ITeye技术网站 阿里巴巴Cobar架构设计与实践 - 机械机电 - 道客巴巴 阿里分布式数据库服务原理与实践:沈询_文档下载 ...

  9. 转数据库分库分表(sharding)系列(二) 全局主键生成策略

    本文将主要介绍一些常见的全局主键生成策略,然后重点介绍flickr使用的一种非常优秀的全局主键生成方案.关于分库分表(sharding)的拆分策略和实施细则,请参考该系列的前一篇文章:数据库分库分表( ...

随机推荐

  1. 089、初探ELK (2019-05-13 周一)

    参考https://www.cnblogs.com/CloudMan6/p/7770916.html   在开源的日志管理方案中,最出名的莫过于ELK了.ELK是三个软件的合称: Elasticsea ...

  2. 运维dig语法

    dig命令是常用的域名查询工具,可以用来测试域名系统工作是否正常 语法 1 dig(选项)(参数) 选项 1 @<服务器地址>:指定进行域名解析的域名服务器: 2 -b<ip地址&g ...

  3. springboot导包spring-boot-starter-parent出现错误

    <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot ...

  4. 6.纯css绘制叮当猫

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title> ...

  5. python模块导入总结

    python模块导入总结 模块导入方式 定义test.py模块 def print_func(): print("hello") import 语句 导入模块语法 import m ...

  6. Win7 Linux双系统,恢复Linux启动项

    在一台电脑上安装Win7 Centos双系统,先安装Win,再安装Centos7.装完后,丢失Linux启动项. 恢复步骤,下载EasyBCD,添加新条目,操作系统选择Linux/BSD,类型选择GR ...

  7. 019-zabbix数据库表详解

    https://www.cnblogs.com/yaoyaojcy/p/10367945.html 1. 查看目前zabbix系统所有数据表: 1 2 3 4 5 6 7 8 9 10 11 12 1 ...

  8. python socket使用

    自学python,先在菜鸟教程网自学,然后买了本书看.又从同事那里淘到了某个培训学校python教学视频,查缺补漏.视频是用python3.0讲的,讲解的很不错,中间有让写作业,这个我很喜欢.这几天看 ...

  9. token和sign

    前言 在app开放接口api的设计中,避免不了的就是安全性问题,因为大多数接口涉及到用户的个人信息以及一些敏感的数据,所以对这些接口需要进行身份的认证,那么这就需要用户提供一些信息,比如用户名密码等, ...

  10. Rsync实现负载均衡的数据同步

    使用三台服务器:系统:CentOS 6.8 192.168.8.169 开发服务器 192.168.8.167 线上服务器1192.168.8.168 线上服务器2 实现思路:在开发服务器上制定一个规 ...