关于Dapper实现读写分离的个人思考
概念相关
为了确保多线上环境数据库的稳定性和可用性,大部分情况下都使用了双机热备的技术。一般是一个主库+一个从库或者多个从库的结构,从库的数据来自于主库的同步。在此基础上我们可以通过数据库反向代理工具或者使用程序的方式实现读写分离,即主库接受事务性操作比如删除、修改、新增等操作,从库接受读操作。笔者自认为读写分离解决的痛点是,数据库读写负载非常高的情况下,单点数据库存在读写冲突,从而导致数据库压力过大,出现读写操作缓慢甚至出现死锁或者拒绝服务的情况。它适用与读大于写,并可以容忍一段时间内不一致的情况,因为主从同步存在一定的延迟,大致的实现架构图如下(图片来自于网络)。
虽然我们可以通过数据库代理实现读写分离,比如mycat,这类方案的优势就是对程序本身没有入侵,通过代理本身来拦截sql语句分发到具体数据。甚至是更好的解决方案NewSQL去解决,比如TiDB。但是还是那个原则,无论使用数据库代理或者NewSQL的情况都是比较重型的解决方案,会增加服务节点和运维成本,有时候还没到使用这些终极解决方案的地步,这时候我们会在程序中处理读写分离,所以有个好的思路去在程序中解决读写分离也尤为重要。
基本结构
接下来我们新建三个类,当然这个并不固定,可以根据自己的情况新建类。首先我们新建一个ConnectionStringConsts用来存放连接字符串常量,也就是用来存放读取自配置文件或者配置中心的字符串,这里我直接写死,当然你也可以存放多个连接字符串,大致实现如下。
public class ConnectionStringConsts
{
/// <summary>
/// 主库连接字符串
/// </summary>
public static readonly string MasterConnectionString = "server=db.master.com;Database=crm_db;UID=root;PWD=1";
/// <summary>
/// 从库连接字符串
/// </summary>
public static readonly string SlaveConnectionString = "server=db.slave.com;Database=crm_db;UID=root;PWD=1";
}
然后新建存储数据库连接字符串主从映射关系的映射类ConnectionStringMapper,这个类的主要功能就是通过连接字符串建立主库和从库的关系,并且根据映射规则返回实际要操作的字符串,大致实现如下
public static class ConnectionStringMapper
{
//存放字符串主从关系
private static readonly IDictionary<string, string[]> _mapper = new Dictionary<string, string[]>();
private static readonly Random _random = new Random();
static ConnectionStringMapper()
{
//添加数关系映射
_mapper.Add(ConnectionStringConsts.MasterConnectionString, new[] { ConnectionStringConsts.SlaveConnectionString });
}
/// <summary>
/// 获取连接字符串
/// </summary>
/// <param name="masterConnectionStr">主库连接字符串</param>
/// <param name="useMaster">是否选择读主库</param>
/// <returns></returns>
public static string GetConnectionString(string masterConnectionStr,bool useMaster)
{
//是否走主库
if (useMaster)
{
return masterConnectionStr;
}
if (!_mapper.Keys.Contains(masterConnectionStr))
{
throw new KeyNotFoundException("不存在的连接字符串");
}
//根据主库获取从库连接字符串
string[] slaveStrs = _mapper[masterConnectionStr];
if (slaveStrs.Length == 1)
{
return slaveStrs[0];
}
return slaveStrs[_random.Next(0, slaveStrs.Length - 1)];
}
}
这个类是比较核心的操作,关于实现读写分离的核心逻辑都在这,当然你可以根据自己的具体业务实现类似的操作。接下来,我们将封装一个DapperHelper的操作,虽然Dapper用起来比较简单方便,但是依然强烈建议!!!封装一个Dapper操作类,这样的话可以统一处理数据库相关的操作,对于以后的维护修改都非常方便,扩展性的时候也会相对容易一些
public static class DapperHelper
{
public static IDbConnection GetConnection(string connectionStr)
{
return new MySqlConnection(connectionStr);
}
/// <summary>
/// 执行查询相关操作
/// </summary>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <param name="useMaster">是否去读主库</param>
/// <returns></returns>
public static IEnumerable<T> Query<T>(string sql, object param = null, bool useMaster=false)
{
//根据实际情况选择需要读取数据库的字符串
string connectionStr = ConnectionStringMapper.GetConnectionString(ConnectionStringConsts.MasterConnectionString, useMaster);
using (var connection = GetConnection(connectionStr))
{
return connection.Query<T>(sql, param);
}
}
/// <summary>
/// 执行查询相关操作
/// </summary>
/// <param name="connectionStr">连接字符串</param>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <param name="useMaster">是否去读主库</param>
/// <returns></returns>
public static IEnumerable<T> Query<T>(string connectionStr, string sql, object param = null, bool useMaster = false)
{
//根据实际情况选择需要读取数据库的字符串
connectionStr = ConnectionStringMapper.GetConnectionString(connectionStr, useMaster);
using (var connection = GetConnection(connectionStr))
{
return connection.Query<T>(sql, param);
}
}
/// <summary>
/// 执行事务相关操作
/// </summary>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <returns></returns>
public static int Execute(string sql, object param = null)
{
return Execute(ConnectionStringConsts.MasterConnectionString, sql, param);
}
/// <summary>
/// 执行事务相关操作
/// </summary>
/// <param name="connectionStr">连接字符串</param>
/// <param name="sql">sql语句</param>
/// <param name="param">参数</param>
/// <returns></returns>
public static int Execute(string connectionStr,string sql,object param=null)
{
using (var connection = GetConnection(connectionStr))
{
return connection.Execute(sql,param);
}
}
/// <summary>
/// 事务封装
/// </summary>
/// <param name="func">操作</param>
/// <returns></returns>
public static bool ExecuteTransaction(Func<IDbConnection, IDbTransaction, int> func)
{
return ExecuteTransaction(ConnectionStringConsts.MasterConnectionString, func);
}
/// <summary>
/// 事务封装
/// </summary>
/// <param name="connectionStr">连接字符串</param>
/// <param name="func">操作</param>
/// <returns></returns>
public static bool ExecuteTransaction(string connectionStr, Func<IDbConnection, IDbTransaction, int> func)
{
using (var conn = GetConnection(connectionStr))
{
IDbTransaction trans = conn.BeginTransaction();
return func(conn, trans)>0;
}
}
}
首先和大家说一句非常抱歉的话,这个类我是随手封装的,并没有实验是否可用,因为我自己的电脑并没有安装数据库这套环境,但是绝对是可以体现我要讲解的思路,希望大家多多见谅。
在这里可以看出来Query查询方法中我们传递了一个缺省参数useMaster默认值是false,主要的原因是,很多时候我们可能不能完全的使用事务性操作走主库,读取操作走从库的情况,也就是我们有些场景可能要选择性读主库,这时候我们可以通过这个参数去控制。当然这个字段具体的含义根据你的具体业务实际情况而定,其主要原则就是让更多的操作能命中缺省的情况,比如你大部分读操作都需要去主库,那么你可以设置默认值为true,这样的话特殊情况传递false,这样的话会省下许多操作。如果你大部分读操作都是走从库,只有少数场景需要选择性读主库,那么这个参数你可以设置为false。写就没有这种情况,因为无论哪种场景写都是要在主库进行的,除非双主的情况,这也不是我们本次讨论的重点。
使用方式
通过上述方式完成封装之后,我们在具体数据访问层适用的时候可以通过如下方式,如果按照默认的方式查询可以采用如下的方式。在这里关于写的操作我们就不展示了,因为写的情况是固定的
string queryPersonSql = "select id,name from Person where id=@id";
var person = DapperHelper.Query<Person>(queryPersonSql, new { id = 1 }).FirstOrDefault();
如果需要存在特殊情况,查询需要选择主库的话可以不使用缺省参数,我们可以选择给缺省参数传值,比如我要让查询走主库
string queryPersonSql = "select id,name from Person where id=@id";
var person = DapperHelper.Query<Person>(queryPersonSql, new { id = 1 }, true).FirstOrDefault();
当然,我们上面也提到了,缺省值useMaster是true还是false,这个完全可以结合自身的业务决定。如果大部分查询都是走从库的情况下,缺省值可以为false。如果大部分查询情况都是走主库的时候,缺省值可以给true。关于以上所有的相关封装,模式并不固定,这一点可以完全结合自己的实际业务和代码实现,只是希望能多给大家提供一种思路,其他ORM也有自身提供了操作读写分离的具体实现。
总结
以上就是笔者关于Dapper实现读写分离的一些个人想法,这种方法也适合其他类似Dapper偏原生SQL操作的ORM框架。这种方式还有一个优点就是如果在现有的项目中,需要支持读写分离的时候,这种操作方式可能对原有代码逻辑,入侵不会那么强,如果你前期封装还比较合理的话,那么改动将会非常小。当然这只是笔者的个人的观点,毕竟具体的实践方式还需要结合实际项目和业务。本次我个人希望能得到大家更多关于这方面的想法,如果你有更好的实现方式欢迎评论区多多留言。
关于Dapper实现读写分离的个人思考的更多相关文章
- MySQL读写分离-简单思考
本文图片资源均来自互联网,没有干货,只是提供一种简单的思路. 基础原理 两台MySQL机器一个主,一个从实现数据实时同步比较简单,代码层面无需任何修改,添加一台机器简单配置配置即可,但是MySQL数据 ...
- CYQ.Data V5 数据库读写分离功能介绍
前言 好多年没写关于此框架的新功能的介绍了,这些年一直在默默地更新,从Nuget上的记录就可以看出来: 这几天在看Java的一些东西,除了觉的Java和.NET的相似度实在太高之外,就是Java太原始 ...
- 从零开始学 Java - Spring AOP 实现主从读写分离
深刻讨论为什么要读写分离? 为了服务器承载更多的用户?提升了网站的响应速度?分摊数据库服务器的压力?就是为了双机热备又不想浪费备份服务器?上面这些回答,我认为都不是错误的,但也都不是完全正确的.「读写 ...
- EF通用数据层封装类(支持读写分离,一主多从)
浅谈orm 记得四年前在学校第一次接触到 Ling to Sql,那时候瞬间发现不用手写sql语句是多么的方便,后面慢慢的接触了许多orm框架,像 EF,Dapper,Hibernate,Servic ...
- DBA 小记 — 分库分表、主从、读写分离
前言 我在上篇博客 "Spring Boot 的实践与思考" 中比对不同规范的 ORM 框架应用场景的时候提到过主从与读写分离,本篇随笔将针对此和分库分表进行更深入地探讨. 1. ...
- Proxysql读写分离配置
ProxySQL是Percona主推的读写分离中间件,下载地址为: https://www.percona.com/downloads/proxysql/ 一.安装 1:下载 wget https:/ ...
- 高可用Mysql架构_Mysql主从复制、Mysql双主热备、Mysql双主双从、Mysql读写分离(Mycat中间件)、Mysql分库分表架构(Mycat中间件)的演变
[Mysql主从复制]解决的问题数据分布:比如一共150台机器,分别往电信.网通.移动各放50台,这样无论在哪个网络访问都很快.其次按照地域,比如国内国外,北方南方,这样地域性访问解决了.负载均衡:M ...
- ProxySQL读写分离
我们首先看一下自己的环境: MHA已经搭建: master: slave: slave: MHA manager在172.16.16.34,配置文件如下: [root@localhost bin]# ...
- Amoeba+Mysql 实现读写分离
About Amoeba Amoeba可译为阿米巴.变型虫Amoeba是一个开源项目,致力于Mysq的分布式数据库前端代理层Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口 ...
随机推荐
- Android调用摄像机拍照(只能拍一张,第二张自动替换)
这两天我玩了玩几天没动的Android,脑子里冒出一个注意,想用Android调用摄像机(偷拍)拍照,然后存下来,在网上百度一下就有很多人说,我也试了试,7.0以下非常轻松就成功了,因为7.0一下不用 ...
- DirectX11 With Windows SDK--35 粒子系统
前言 在这一章中,我们主要关注的是如何模拟一系列粒子,并控制它们运动.这些粒子的行为都是类似的,但它们也带有一定的随机性.这一堆粒子的几何我们叫它为粒子系统,它可以被用于模拟一些比较现象,如:火焰.雨 ...
- 手动造轮子——为Ocelot集成Nacos注册中心
前言 近期在看博客的时候或者在群里看聊天的时候,发现很多都提到了Ocelot网关的问题.我之前也研究过一点,网关本身是一种通用的解决方案,主要的工作就是拦截请求统一处理,比如认证.授权.熔断. ...
- ~~网络编程(三):TCP/UDP~~
进击のpython ***** 网络编程--TCP/UDP协议 其实你也发现了,应用层是交给应用来处理的,我们什么也做不了 相较于网络编程来说,我们更重要的是在做应用层和传输层的对接 因为你也看到了, ...
- cmd 安装第三方库问题
pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 一定要指定 信任豆瓣源,不然就算换了源 ...
- bzoj 2225 [Spoj 2371]Another Longest Increasing
这道题 连续上升的三元组 且已经按照第一维排好序了. 直接上CDQ分治即可 当然也是可以2-Dtree解决这个 问题 但是感觉nlog^2 比nsqrt(n)要快一些.. 算是复习一发CDQ分治吧 也 ...
- MIME-TYPE 列表
Suffixes applicable Media type and subtype(s) .3dm x-world/x-3dmf .3dmf x-world/x-3dmf .a applicatio ...
- windows:shellcode生成框架和加载
https://www.cnblogs.com/theseventhson/p/13194646.html 分享了shellcode 的基本原理,核心思路是动态获取GetProcAddress和Lo ...
- 当Django模型迁移时,报No migrations to apply 问题时
前言:当更改model时在次迁移是不是经常报此类错误,解决以下两点便可以更新成功 1. 删除修改模型对应的app应用下的migrations中的生成文件 2. 进入数据库,找到django_migra ...
- .net core编写转发服务(二) 添加服务发布订阅
源设计就单纯完成了把服务转发到特定的服务模块,一定程度上解耦了业务流程 但是我们实际开发过程中会面临服务转发后还有一些列关联的服务 举个例子 你调用了发送邮件的服务,接下来会面临扣费的服务,扣费之后会 ...