数据库路由中间件MyCat - 使用篇(6)
此文已由作者张镐薪授权网易云社区发布。
欢迎访问网易云社区,了解更多网易技术产品运营经验。
配置MyCat
4. 配置schema.xml
schema.xml里面管理着MyCat的逻辑库、表,每张表使用的分片规则、分布在哪个DataNode以及DataSource上。 之前的例子: ```xml< ?xml version="1.0" encoding="UTF-8"?>< !DOCTYPE mycat:schema SYSTEM "schema.dtd">
<!-- 规定dataNode,就是分片的位置--><dataNode name="test1" dataHost="test" database="db1" /><dataNode name="test2" dataHost="test" database="db2" /><dataNode name="test3" dataHost="test" database="db3" /><dataNode name="test4" dataHost="test" database="db4" /><dataNode name="test5" dataHost="test" database="db5" /><dataNode name="test6" dataHost="test" database="db6" /><!-- 规定每个分片host的读写服务器以及登录用户名密码,还有心跳语句--><dataHost name="test" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
<heartbeat>select 1 from dual</heartbeat>
<writeHost host="test" url="10.202.4.181:3306" user="test" password="test">
<readHost host="slave" url="10.202.4.181:3307" user="root" password="sf123456"/>
</writeHost></dataHost>
**逻辑库配置schema标签:**
<!-- checkSQLschema就是打开SQL语句检查,把带schema名字的查询改写成不带的,一般查询最好不要带schema名字 --><!--sqlMaxLimit每条执行的SQL语句,如果没有加上limit语句,MyCat也会自动的加上所对应的值-->

其中,这里配置的dataNode属性,是指这个逻辑库中逻辑表的默认分片节点是test4,如果逻辑表自己配置了分片节点,那么这个属性对那个逻辑表无效。
sqlMaxLimit防止过多的输出,如果sql语句中显式的指定了limit大小,那么这个属性就不会生效。而且,如果对于非分片表执行sql语句,这个属性也不会生效。**逻辑表配置table标签:**
<table name="orders" primaryKey="id" dataNode="test$1-3" rule="mod-long-orders">
<!-- 运单子母件表,运单表的子表,order_id与orders的id列对应 -->
<childTable name="orders_cargo" joinKey="order_id" parentKey="id">
</childTable>
<!-- 客户运单关系表,运单表的子表,order_id与orders的id列对应 -->
<childTable name="customer_order_rel" joinKey="order_id" parentKey="id">
</childTable>
<!-- 快递员运单关系表,运单表的子表,order_id与orders的id列对应 -->
<childTable name="courier_order_rel" joinKey="order_id" parentKey="id">
</childTable>
</table>
<!-- 运单状态信息表,公共表,放在和运单表同样的分片上 -->
<table name="order_status_interception" primaryKey="id" type="global" dataNode="test$1-3">
</table>
<!-- 快递员表,非分片表 -->
<table name="courier" primaryKey="id" dataNode="test4">
</table>
<!-- 客户表,对主键id对2取模 -->
<table name="customer" primaryKey="id" dataNode="test$5-6" rule="mod-long-customer">
</table>
1. name属性定义逻辑表的表名,这个名字就如同我在数据库中执行create table命令指定的名字一样,同个schema标签中定义的名字必须唯一。2. dataNode属性:定义这个逻辑表所属的dataNode, 该属性的值需要和dataNode标签中name属性的值相互对应。如果需要定义的dn过多可以使用上面配置的的方法减少配置3. rule属性:该属性用于指定逻辑表要使用的规则名字,规则名字在rule.xml中定义,必须与tableRule标签中name属性属性值一一对应。4. ruleRequired属性:该属性用于指定表是否绑定分片规则,如果配置为true,但没有配置具体rule的话 ,程序会报错。5. primaryKey属性:该逻辑表对应真实表的主键,例如:分片的规则是使用非主键进行分片的,那么在使用主键查询的时候,就会发送查询语句到所有配置的DN上;如果使用该属性配置真实表的主键,那么MyCat会缓存主键与具体DN的信息,那么再次使用非主键进行查询的时候就不会进行广播式的查询,就会直接发送语句给具体的DN,但是尽管配置该属性,如果缓存并没有命中的话,还是会发送语句给具体的DN,来获得数据。6. type属性:该属性定义了逻辑表的类型,目前逻辑表只有“全局表”和”普通表”两种类型。全局表:global。普通表:不指定该值为globla的所有表。7. autoIncrement属性:自增id相关,不推荐使用8. needAddLimit属性:指定表是否需要自动的在每个语句后面加上limit限制。由于使用了分库分表,数据量有时会特别巨大。这时候执行查询语句,如果恰巧又忘记了加上数量限制的话。那么查询所有的数据出来,也够等上一小会儿的。所以,mycat就自动的为我们加上LIMIT 100。当然,如果语句中有limit,就不会在次添加了。这个属性默认为true,你也可以设置成false`禁用掉默认行为。**分片表子表配置 childTable标签:**
1. name属性2. joinKey属性:插入子表的时候会使用这个列的值查找父表存储的数据节点。3. parentKey属性:属性指定的值一般为与父表建立关联关系的列名。程序首先获取joinkey的值,再通过**parentKey**属性指定的列名产生查询语句,通过执行该语句得到父表存储在哪个分片上。从而确定子表存储的位置。4. primaryKey属性:同table标签所描述的。5. needAddLimit属性:同table标签所描述的。**分片节点dataNode标签配置:**
<dataNode name="test1" dataHost="test" database="db1" /><dataNode name="test2" dataHost="test" database="db2" /><dataNode name="test3" dataHost="test" database="db3" /><dataNode name="test4" dataHost="test" database="db4" /><dataNode name="test5" dataHost="test" database="db5" /><dataNode name="test6" dataHost="test" database="db6" />
1. name属性2. dataHost属性:该属性用于定义该分片属于哪个数据库实例的,属性值是引用dataHost标签上定义的name属性3. database属性:该属性用于定义该分片属性哪个具体数据库实例上的具体库,因为这里使用两个纬度来定义分片,就是:实例+具体的库。因为每个库上建立的表和表结构是一样的。所以这样做就可以轻松的对表进行水平拆分。**分片主机dataHost标签配置:**
<dataHost name="test" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
<heartbeat>select 1 from dual</heartbeat>
<writeHost host="test" url="10.202.4.181:3306" user="test" password="test">
<readHost host="slave" url="10.202.4.181:3307" user="root" password="sf123456"/>
</writeHost></dataHost>
``` dataHost标签:该标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句。
name属性
maxCon属性:指定每个读写实例连接池的最大连接。也就是说,标签内嵌套的writeHost、readHost标签都会使用这个属性的值来实例化出连接池的最大连接数。
minCon属性:指定每个读写实例连接池的最小连接,初始化连接池的大小。
balance属性:
- balance=“0”, 所有读操作都发送到当前可用的writeHost上。
- balance=“1”,所有读操作都随机的发送到readHost。
- balance=“2”,所有读操作都随机的在writeHost、readhost上分发。writeType属性
- writeType=“0”, 所有写操作都发送到可用的writeHost上。
- writeType=“1”,所有写操作都随机的发送到readHost。
- writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。dbType属性:指定后端连接的数据库类型,目前支持二进制的mysql协议,还有其他使用JDBC连接的数据库。例如:mongodb、oracle、spark等。
dbDriver属性:指定连接后端数据库使用的Driver,目前可选的值有native和JDBC。使用native的话,因为这个值执行的是二进制的mysql协议,所以可以使用mysql和maridb。其他类型的数据库则需要使用JDBC驱动来支持。
switchType属性: -1 表示不自动切换 1 默认值,自动切换 2 基于 MySQL 主从同步状态决定是否切换,心跳语句必须为show slave status 3 基于 MySQL galary cluster 的切换机制(适合集群)心跳语句必须为show status like ‘wsrep%’
slaveThreshold:主从同步状态决定是否切换,延迟超过这个就不切换
heartbeat标签:这个标签内指明用于和后端数据库进行心跳检查的语句。例如,MYSQL可以使用select user(),Oracle可以使用select 1 from dual等。
writeHost标签、readHost标签:这两个标签都指定后端数据库的相关配置给mycat,用于实例化后端连接池。唯一不同的是,writeHost指定写实例、readHost指定读实例,组着这些读写实例来满足系统的要求。在一个dataHost内可以定义多个writeHost和readHost。但是,如果writeHost指定的后端数据库宕机,那么这个writeHost绑定的所有readHost都将不可用。另一方面,由于这个writeHost宕机系统会自动的检测到,并切换到备用的writeHost上去。
- host属性:用于标识不同实例
- url属性:后端实例连接地址,如果是使用native的dbDriver,则一般为address:port这种形式。用JDBC或其他的dbDriver,则需要特殊指定。当使用JDBC时则可以这么写:jdbc:mysql://localhost:3306/。
- user属性:后端存储实例需要的用户名字
- password属性:后端存储实例需要的密码
5. 启动MyCat
以上,MyCat基本配置已经配置好。下面则启动,进入mycat的bin目录,启动MyCat: ./mycat start 查看启动状态: ./mycat status 停止: ./mycat stop 重启(改变上面的xml配置不用重启,管理端可以重新载入,以后会讲): ./mycat restart 查看logs/下的wrapper.log和mycat.log可以查看运行时问题和异常。
更多网易技术、产品、运营经验分享请点击。
相关文章:
【推荐】 试水新的Angular4HTTPAPI
【推荐】 从加班论客户端开发中的建模
【推荐】 浅谈由管理者角色引出的B端产品设计思考点
数据库路由中间件MyCat - 使用篇(6)的更多相关文章
- 数据库路由中间件MyCat - 背景篇(2)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. MyCat的前世今生 如前文所说,Amoeba.Cobar.MyCat等属于同宗一脉.若Amoeba能继续下 ...
- 数据库路由中间件MyCat - 使用篇(1)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 基本概念 直接介绍概念太枯燥了,还是拿个和背景篇相似的例子介绍 业务场景:客户完成下单,快递员接受并更新运单 ...
- 数据库路由中间件MyCat - 源代码篇(13)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 4.配置模块 4.2 schema.xml 接上一篇,接下来载入每个schema的配置(也就是每个MyCat ...
- 数据库路由中间件MyCat - 使用篇(3)上篇
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 全局序列号 数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据唯 ...
- 数据库路由中间件MyCat - 源代码篇(7)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 3. 连接模块 3.4 FrontendConnection前端连接 构造方法: public Fronte ...
- 数据库路由中间件MyCat - 源代码篇(15)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. public static void handle(String stmt, ServerConnectio ...
- 数据库路由中间件MyCat - 源代码篇(14)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 对于表的dataNode对应关系,有个特殊配置即类似dataNode="distributed(d ...
- 数据库路由中间件MyCat - 源代码篇(1)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 进入了源代码篇,我们先从整体入手,之后拿一个简单流程前端连接建立与认证作为例子,理清代码思路和设计模式.然后 ...
- 数据库路由中间件MyCat - 使用篇(4)
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 配置MyCat 3. 配置conf/rule.xml 1.5GA版本中的规则配置比较笨,2.0中优化了一些, ...
- 数据库路由中间件MyCat - 使用篇(3)下篇
此文已由作者张镐薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 2. 配置conf/server.xml server.xml几乎保存了所有mycat需要的系统配置信息.其 ...
随机推荐
- 【网络与系统安全】利用burpsuite进行重放攻击
重放攻击的定义 所谓重放攻击就是攻击者发送一个目的主机已接收过的包,来达到欺骗系统的目的,主要用于身份认证过程. 原理 重放攻击的基本原理就是把以前窃听到的数据原封不动地重新发送给接收方.如果攻击者知 ...
- Webpack探索【16】--- 懒加载构建原理详解(模块如何被组建&如何加载)&源码解读
本文主要说明Webpack懒加载构建和加载的原理,对构建后的源码进行分析. 一 说明 本文以一个简单的示例,通过对构建好的bundle.js源码进行分析,说明Webpack懒加载构建原理. 本文使用的 ...
- Webpack探索【15】--- 基础构建原理详解(模块如何被组建&如何加载)&源码解读
本文主要说明Webpack模块构建和加载的原理,对构建后的源码进行分析. 一 说明 本文以一个简单的示例,通过对构建好的bundle.js源码进行分析,说明Webpack的基础构建原理. 本文使用的W ...
- 关于引用WebLogic.jar时遇到NoClassDefFoundError问题的解决方法
前段时间在做一个项目开发时,需要用到weblogic.jndi.WLInitialContextFactory,所以按照以前的经验,将WebLogic.jar添加到Build Path中.可是在执行时 ...
- poj1753 Flip Game —— 二进制压缩 + dfs / bfs or 递推
题目链接:http://poj.org/problem?id=1753 Flip Game Time Limit: 1000MS Memory Limit: 65536K Total Submis ...
- github添加ssh公钥
使用git作为版本维护工具非常方便,而且一般个人用github作为远端库就够用了.而一般git连接github的方式采用ssh的方法,http的会略微慢一些.所以为了方便一般会在github设置中添加 ...
- tensorflow knn mnist
# MNIST Digit Prediction with k-Nearest Neighbors #----------------------------------------------- # ...
- aop 例子(annotation方式实现)
面向切面编程(也叫面向方面),可以通过预编译方式和运行期动态代理实现在不修改源代码的情况下给程序动态统一添加功能的一种技术.AOP实际是GoF设计模式的延续,设计模式孜孜不倦追求的是调用者和被调用者之 ...
- CSDN不登陆看博文
做前端的朋友说,手动改太Low,给了段JS代码: javascript: void((function() {var divElement = document.getElementById('art ...
- python爬虫知识点总结(九)Requests+正则表达式爬取猫眼电影
一.爬取流程 二.代码演示 #-*- coding: UTF-8 -*- #_author:AlexCthon #mail:alexcthon@163.com #date:2018/8/3 impor ...