springboot based 主从数据源中间件方案
先定几个原则/目标:
原则:
1.必须保证数据逻辑的一致性;
反例:刚写了数据,(因为主从延迟)查询不到;
2.对开发人员透明,对业务代码无侵入性;与单数据源的业务代码调用一致;
反例:对已有业务代码的侵入式改动,显示说明datasource;
3.根据调用场景自动选择主从数据源
场景:涉及写入,读写都在主库进行。只涉及查询,从库查询
反例:
3.1写事务调用从库
3.2非必要的从主库查询
4.给业务开发选择的权利,可以以最低成本的方式显示进行数据源(类别)选择(如annotation等);
场景:只涉及查询,但是业务需要,必须从主库查询;
5.主从数据源共存,与单数据源方案,可以无缝切换
扩展目标:
6.低成本的数据源切换线程安全
反例:全局悲观锁,同步锁实现
7.支持多个从库/从库HA
8.主数据库不可用,从库自动顶上
9.代码级别上,采用spring boot starter方案
不考虑场景:
sharding 目前不考虑,如果需要,作单独专题展开。
备忘问题:
传播级别:
调用者上下文显示说明MASTER,被调用者显示说明SLAVE; 或反过来,需要一个合理的切换机制/或者不切换;
传播性可以做如下规则:
1.如果外层为master,则内层不管原先级别,都将提升至master级别;
2.级别只升不降
3. 同一个线程,如果不切换主从,同一分类的机器,(主要是指多个slave )实例也不切换
4.更多的调用层级,直接递推即可(传播);
case:
- master → slave => master → master
- master → master => master → master
- slave → master => slave → master
- slave → slave => slave → slave
Master/Slave 切换场景的几种设定:
| 默认Slave(性能优先) | 默认Master(开发效率优先) |
如果调用者未显示说明@Master/Slave,根据事务状态自主选择主从; 不在传播链中生成@Master/Slave |
如果调用者未显示说明@Master/Slave,根据事务状态自主选择主从; 在传播链中生成@Master/Slave |
|
|---|---|---|---|---|
| 优点 |
1.分担主库负担 2.尽可能利用从库,从库只读,HA成本低 |
1.现有代码无任何改动可正常运行 |
1.用户完全控制,截断了隐性的@Master 2.更多的@Slave场景机会 |
1.整个传播链行为一致,使得整个数据行为更一致; |
| 缺点 |
所有现有的服务,涉及到写或者必须连master的场景,必须显示标明@Master; 否则会有两种情况: 1.涉及写入的时候会默认连接到只读从库,程序会报错; 2. 非写入动作,但可能有数据读取的延时性问题 |
1.需要显示标明@Slave,才能连接从库 2.从库利用率会较低 |
1.有可能业务逻辑的不一致; 例子: a.不标明@Master/Slave 的调用上下文先执行了 写操作; b.然后调用了@Slave 的读操作服务; a步骤写入的数据,有可能在b操作中读取不出来 这种场景,当然可以通过显示标明调用者为 |
1.对事务的状态判断,并不能单方面很好的决定是否选择主从,所以一般会选择主库;(TODO:看是否能更好优化) 2.为了程序运行逻辑不出异常的情况下,而大多选择了@Master,那么接下来的级别都会是@Master,@Slave 的场景会非常少,从库利用率会很低 |
项目地址:
https://github.com/leochowcomtop/db-proxy
springboot based 主从数据源中间件方案的更多相关文章
- springboot之多数据源配置JdbcTemplate
springboot多数据源配置,代码如下 DataSourceConfig package com.rookie.bigdata.config; import org.springframework ...
- springboot配置Druid数据源
springboot配置druid数据源 Author:SimpleWu springboot整合篇 前言 对于数据访问层,无论是Sql还是NoSql,SpringBoot默认采用整合SpringDa ...
- springBoot整合多数据源
springBoot整合相关 1:springBoot整合多数据源: 应用场景: 项目需要同时连接两个不同的数据库A, B,并且它们都为主从架构,一台写库,多台读库. 工具/版本: jdk1. ...
- springboot + mybatis + 多数据源
此文已由作者赵计刚薪授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验 在实际开发中,我们一个项目可能会用到多个数据库,通常一个数据库对应一个数据源. 代码结构: 简要原理: 1) ...
- 基于springboot的多数据源配置
发布时间:2018-12-11 技术:springboot1.5.1 + maven3.0.1+ mybatis-plus-boot-starter2.3.1 + dynamic-datasour ...
- Spring主从数据源动态切换
参考文档: http://uule.iteye.com/blog/2126533 http://lanjingling.github.io/2016/02/15/spring-aop-dynamicd ...
- Mysql读写分离与主从数据库设置方案
Mysql读写分离与主从数据库设置方案 亿仁网 18-10-0711:31 Mysql无非四个功能:增,删,改,读.而将增删改和读分离操作.这样有利于提高系统性能.下面是非常直观的操作: 1.配置: ...
- Redis Sentinel主从高可用方案
Redis Sentinel主从高可用方案 本文介绍一种通过Jed和Sentinel实现Redis集群(主从)的高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上 ...
- springboot添加多数据源连接池并配置Mybatis
springboot添加多数据源连接池并配置Mybatis 转载请注明出处:https://www.cnblogs.com/funnyzpc/p/9190226.html May 12, 2018 ...
随机推荐
- 【记录】VMware解决网络找不到服务器的问题
本想在虚拟机上的Linux上练习安装Mysql8.0版本的,网络连不上的问题卡了N天简直 1. 点击虚拟机右键设置,虚拟机默认设置为NAT模式,这里无需修改. 2. 点击编辑,虚拟网络设置,勾选主机连 ...
- 20190317 A
今天是学长wsy的题,我理论会100+50+30=180,实际100+20+10=130,充分体现我的菜 最近日常模拟赛挂分50到60,很危险,这2天一定要调整好... Upd:T2我认为50的划分数 ...
- webviewplugin
https://blog.csdn.net/qq_39197547/article/details/85007418 https://www.cnblogs.com/pjl43/p/9866753.h ...
- 配置IPV6地址
题:在考试系统上设定接口eth0使用下列IPV6地址: system1上的地址应该是2003:ac18::305/64 system2上的地址应该是2003:ac18::30a/64 两个系统必须能与 ...
- ES6中的类和继承
class的写法及继承 JavaScript 语言中,生成实例对象的传统方法是通过构造函数.下面是一个例子 function Point(x, y) { this.x = x; this. ...
- Spring Boot 2 整合Swagger简单入门
Swagger是一款RESTFUL接口的文档在线自动生成+功能测试功能软件. 1.pom.xml添加配置 可以到http://mvnrepository.com上搜索springfox,便可以看到Sp ...
- 优雅的使用Linux
优雅的使用Linux 系统安装 启动盘制作 通过rufus烧制官网镜像,注意根据自己系统的引导模式选择相应模式,不确定的,可以在windows中通过Win + R 快捷键调出"运行" ...
- jmeter接口自动化测试
一.正常单个接口 1.自定义变量设置服务器地址ip和端口 2.可以正则表达式提取取出token值设置为请求头里 如图 二.接口请求参数涉及取参(单个或多值) 提取多个值参数,用Json提取器可以直接提 ...
- 2017-2018 ACM-ICPC German Collegiate Programming Contest (GCPC 2017)
A Drawing Borders 很多构造方法,下图可能是最简单的了 代码: #include<bits/stdc++.h> using namespace std; ; struct ...
- 雷林鹏分享:CodeIgniter常用的数据库操作类
在 CodeIgniter 中,使用数据库是非常频繁的事情.你可以使用框架自带的数据库类,就能便捷地进行数据库操作. 初始化数据库类 依据你的数据库配置载入并初始化数据库类: $this->lo ...