需求背景


去年底,公司项目有一个需求中有个接口需要用到平台、算法、大数据等三个不同数据库的数据进行计算、组装以及最后的展示,当时这个需求是另一个老同事在做,我只是负责自己的部分。

直到今年回来了,这个项目也做得差不多了,这会儿才有时间区仔细看同事的代码,是怎么去实现多数据源动态切换的。


扩展:当业务也来越复杂,数据量越来越庞大时,就可能会对数据库进行分库分表、读写分离等设计来减轻压力、提高系统性能,那么多数据源动态切换势必是必不可少!

经过了一星期零零碎碎的下班时间,从了解原理、实现、优化的过程,自己终于总算是弄出来了,接下来一起看看!

思考


  1. 如何让Spring知道我们配置了多个数据源?

  2. 配置了多个数据源后,Spring是如何决定使用哪一个数据源?

  3. Spring是如何动态切换数据源?

分析及实现


  1. 配置多数据源信息

spring:
datasource:
local:
database: local
username: root
password:
jdbc-url: jdbc:mysql://ip:port/test_user?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC
driver-class-name: com.mysql.cj.jdbc.Driver
server:
database: server
username: root
password:
jdbc-url: jdbc:mysql://ip:port/test_user?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC
driver-class-name: com.mysql.cj.jdbc.Driver

这是我的两个数据库:本地数据库+个人服务器数据库


服务器数据库



本地数据库




  1. Spring如何获取配置好的多个数据源信息?

Spring提供了三种方式进行获取

@Value注解获取(实体类需配合@Component),最简单,但当配置信息较多时,写起来比较繁琐

@ConfigurationProperties注解获取,需要定义前缀,可大批量获取配置信息

@Environment注解从Spring环境中获取,实现较为复杂,本人很少用


同事使用的方式是第一种方式,但是我个人觉得这样侵入性较大,每增加一个数据源,就要重新定义变量然后用@Value去重新配置,很麻烦,所以我就选择了第二种方式


通过@ConfigurationProperties注解获取,需要定义前缀,可大批量获取配置信息


@Data
@Component
@ConfigurationProperties(prefix = "spring.datasource")
public class DBProperties { private HikariDataSource server; private HikariDataSource local;
}

将所有的数据源加载到Spring中,可供其选择使用


@Slf4j
@Configuration
public class DataSourceConfig { @Autowired
private DBProperties dbProperties; @Bean(name = "multiDataSource")
public MultiDataSource multiDataSource(){
MultiDataSource multiDataSource = new MultiDataSource();
//1.设置默认数据源
multiDataSource .setDefaultTargetDataSource(dbProperties.getLocal());
//2.配置多数据源
HashMap<Object, Object> dataSourceMap = Maps.newHashMap(); dataSourceMap.put("local", dbProperties.getLocal());
dataSourceMap.put("server", dbProperties.getServer());
//3.存放数据源集
multiDataSource.setTargetDataSources(dataSourceMap);
return multiDataSource;
}
}

如此之后,确实是可以读取YML中的数据源信息,但是总觉得怪怪的。

果然!当我实现了整个功能后,我发现,如果我想要再加一个数据源,我还是得去求改DBProperties和DataSourceConfig这两类的内容,就很烦,我这个人比较懒,所以我就将这部分内容优化了一下:


优化后的YML

spring:
datasource:
names:
- database: dataSource0
username: root
password:
jdbc-url: jdbc:mysql://ip:port/test_user?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC
driver-class-name: com.mysql.cj.jdbc.Driver
- database: dataSource1
username: root
password:
jdbc-url: jdbc:mysql://ip:port/test_user?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC
driver-class-name: com.mysql.cj.jdbc.Driver

优化后的DBProperties

@Data
@Component
@ConfigurationProperties(prefix = "spring.datasource")
public class DBProperties { private List<HikariDataSource> DBNames; }

优化后的DataSourceConfig


@Slf4j
@Configuration
public class DataSourceConfig { @Autowired
private DBProperties dbProperties; @Bean(name = "multiDataSource")
public MultiDataSource multiDataSource(){
MultiDataSource multiDataSource = new MultiDataSource(); List<HikariDataSource> names = dbProperties.getNames();
if (CollectionUtils.isEmpty(names)){
throw new RuntimeException("please configure the data source!");
} multiDataSource.setDefaultTargetDataSource(names.get(0)); HashMap<Object, Object> dataSourceMap = Maps.newHashMap();
int i = 0;
for (HikariDataSource name : names) {
dataSourceMap.put("dataSource-"+(i++),name);
} multiDataSource.setTargetDataSources(dataSourceMap);
return multiDataSource;
}
}

这样子,我之后无论配置了多少个数据源信息,我都不需要再去修改配置代码



  1. Spring如何选择使用数据源?

选择一个数据源


通过继承AbstractRoutingDataSource接口,重写determineCurrentLookupKey方法,选择具体的数据源


@Slf4j
public class MultiDataSource extends AbstractRoutingDataSource { @Override
protected Object determineCurrentLookupKey() { return MultiDataSourceHolder.getDatasource(); } }

利用ThreadLocal实现数据源线程隔离


public class MultiDataSourceHolder {

    private static final ThreadLocal<String> threadLocal =new ThreadLocal<>();

    public static void setDatasource(String datasource){
threadLocal.set(datasource);
} public static String getDatasource(){
return threadLocal.get();
} public static void clearDataSource(){
threadLocal.remove();
} }

准备工作做好,下面开始将动态切换操作串联起来


利用AOP切面+自定义注解


自定义注解


@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface MultiDataSource { String DBName(); }

AOP切面


@Slf4j
@Aspect
@Component
public class DataSourceAspect { @Pointcut(value = "@within(com.xiaozhao.base.aop.annotation.MultiDataSource) || @annotation(com.xiaozhao.base.aop.annotation.MultiDataSource)")
public void dataSourcePointCut(){} @Before("dataSourcePointCut() && @annotation(multiDataSource)")
public void before(MultiDataSource multiDataSource){ String dbName = multiDataSource.DBName(); if (StringUtils.hasLength(dbName)){ MultiDataSourceHolder.setDatasource(multiDataSource.DBName());
log.info("current dataSourceName ====== "+dbName); }else { log.info("switch datasource fail, use default, or please configure the data source for the annotations,"); }
} @After("dataSourcePointCut()")
public void after(){
MultiDataSourceHolder.clearDataSource();
}
}

好了!功能依然实现,打完收工!


。。。。


如果我工作中也这样,估计要被测试打死!为了敷衍一下,来进行一下测试


一套代码直接打完:

Controller+Service+Dao


@RestController
@RequestMapping("user")
public class UserController { @Autowired
private UserService userService; @GetMapping("/info")
public UserVO getUser(){
return userService.creatUser();
}
} public interface UserService {
UserVO creatUser(); UserVO setUserInfo(String phone);
} @Service
@EnableAspectJAutoProxy(exposeProxy = true)
public class UserServiceImpl implements UserService { @Autowired
private UserMapper userMapper; @Autowired
private InfoMapper infoMapper; @Override
public UserVO creatUser() {
UserVO userVO = userMapper.getUserInfoMapper(); return ((UserService) AopContext.currentProxy()).setUserInfo(userVO.getPhone());
} @MultiDataSource(DBName = "dataSource-1")
public UserVO setUserInfo(String phone) { UserVO userInfo = infoMapper.getUserInfo(); UserVO user = new UserVO();
user.setUserName(userInfo.getUserName());
user.setPassword(userInfo.getPassword());
user.setAddress(userInfo.getAddress());
user.setPhone(phone);
return user;
}
} @Mapper
public interface InfoMapper { @Select("select id,user_name as userName,password,phone,address from test_user")
UserVO getUserInfo();
} @Mapper
public interface UserMapper { @Select("select id,user_name as userName,password,phone from user")
UserVO getUserInfoMapper(); }

测试结果:红框数据来自于服务器数据库,绿框数据来自于本地数据库



遇到的问题

  • 同一个类中,A方法调用B方法用AopContext.currentProxy()报错问题:在类上加@EnableAspectJAutoProxy(exposeProxy = true)————解决!
  • 切面时,用JoinPoint获取方法,判断是否被注解修饰(虽然纯属多余)结果为false————有待考究!

结语


小菜鸡的学习成长之路,拒绝无味的CRUD,每过一段时间,就会把工作中用到,或者别人实现的功能解析、实现,并分享!下一篇,Redission实现分布式锁

实战:Spring AOP实现多数据源动态切换的更多相关文章

  1. Spring多数据源动态切换

    title: Spring多数据源动态切换 date: 2019-11-27 categories: Java Spring tags: 数据源 typora-root-url: ...... --- ...

  2. Springboot多数据源配置--数据源动态切换

    在上一篇我们介绍了多数据源,但是我们会发现在实际中我们很少直接获取数据源对象进行操作,我们常用的是jdbcTemplate或者是jpa进行操作数据库.那么这一节我们将要介绍怎么进行多数据源动态切换.添 ...

  3. Spring3.3 整合 Hibernate3、MyBatis3.2 配置多数据源/动态切换数据源 方法

    一.开篇 这里整合分别采用了Hibernate和MyBatis两大持久层框架,Hibernate主要完成增删改功能和一些单一的对象查询功能,MyBatis主要负责查询功能.所以在出来数据库方言的时候基 ...

  4. Spring AOP实现Mysql数据库主从切换(一主多从)

    设置数据库主从切换的原因:数据库中经常发生的是“读多写少”,这样读操作对数据库压力比较大,通过采用数据库集群方案, 一个数据库是主库,负责写:其他为从库,负责读,从而实现读写分离增大数据库的容错率.  ...

  5. Spring3.3 整合 Hibernate3、MyBatis3.2 配置多数据源/动态切换数据源方法

    一.开篇 这里整合分别采用了Hibernate和MyBatis两大持久层框架,Hibernate主要完成增删改功能和一些单一的对象查询功能,MyBatis主要负责查询功能.所以在出来数据库方言的时候基 ...

  6. mybatis 多数据源动态切换

    笔者主要从事c#开发,近期因为项目需要,搭建了一套spring-cloud微服务框架,集成了eureka服务注册中心. gateway网关过滤.admin服务监控.auth授权体系验证,集成了redi ...

  7. springboot多数据源动态切换和自定义mybatis分页插件

    1.配置多数据源 增加druid依赖 完整pom文件 数据源配置文件 route.datasource.driver-class-name= com.mysql.jdbc.Driver route.d ...

  8. spring+myBatis 配置多数据源,切换数据源

    注:本文来源于  tianzhiwuqis <spring+myBatis 配置多数据源,切换数据源> 一个项目里一般情况下只会使用到一个数据库,但有的需求是要显示其他数据库的内容,像这样 ...

  9. Spring主从数据源动态切换

    参考文档: http://uule.iteye.com/blog/2126533 http://lanjingling.github.io/2016/02/15/spring-aop-dynamicd ...

随机推荐

  1. Spring源码-IOC部分-容器初始化过程【2】

    实验环境:spring-framework-5.0.2.jdk8.gradle4.3.1 Spring源码-IOC部分-容器简介[1] Spring源码-IOC部分-容器初始化过程[2] Spring ...

  2. SpringBoot集成druid数据库连接池的简单使用

    简介 Druid是阿里巴巴旗下Java语言中最好的数据库连接池.Druid能够提供强大的监控和扩展功能. 官网: https://github.com/alibaba/druid/wiki/常见问题 ...

  3. kindof

    kindof:相当于 __kindof:表示当前类或者它的子类' 类设计历史 id:可以调用任何对象方法,不能进行编译检查 @interface Person : NSObject // xcode5 ...

  4. JS介绍、意义

    HTML和CSS 京东 网页.网站和应用程序 网页:单独的一个页面 网站:一些列相关的页面组成到一起 应用程序:可以和用户产生交互,并实现某种功能. 演示JavaScript的强大 http://im ...

  5. 【转载】Locust实现集合点

    直接编写接口事务脚本对后台接口进行测试:有时测试需要让所有并发用户完成初始化后再进行压力测试,这就需要类似于LoadRunner中的集合点的概念,由于框架本身没有直接封装,有如下办法实现: from ...

  6. dealloc方法

    dealloc方法基本概念 当一个对象的引用计数器值为0时,这个对象即将被销毁,其占用的内存被系统回收 对象即将被销毁时系统会自动给对象发送一条dealloc消息 (因此, 从dealloc方法有没有 ...

  7. iOS App 架构文章推荐

    iOS应用开发架构 iOS应用架构谈系列 阿里技术沙龙 2.2.1. Hybrid App 2.2.2. taobao 客户端架构 2.2.3. alipay 客户端架构   iOS APP 架构漫谈 ...

  8. AFNetWorking 文件上传 By-H罗

    一.文件上传(图片,音频,视频,文本等)(不带进度) /** * 文件上传 导入 #import "AFNetworking.h" * @param filePath 上传文件本地 ...

  9. Python以及Sublime Text的安装设置

    Python以及Sublime Text的安装设置 目录 Python以及Sublime Text的安装设置 一.Python 1. Python版本 2. 安装新版本python 2.1 下载安装包 ...

  10. 理解Faster R-CNN

    首先放R-CNN的原理图 显然R-CNN的整过过程大致上划分为四步: 1.输入图片 2.生成候选窗口 3.对局部窗口进行特征提取(CNN) 4.分类(Classify regions) 而R-CNN的 ...