猪齿鱼 Choerodon 的数据初始化设计解析

数智化效能平台猪齿鱼Choerodon 作为一个微服务框架，需要解决微服务数据初始化本身具有的问题和复杂性，同时也需要满足框架本身特有的数据初始化需求，下面为大家介绍一下这方面的设计思想和实现。

微服务的数据初始化难题

先来看一下在微服务的数据初始化中常见的几个问题。

▍1.1 表结构的初始化和可平滑升级

表结构的定义在数据库初始化中是重中之重，它涉及到整个服务运行和利用数据库实现功能的方式，一般来说表结构定义和升级涉及到以下操作：创建表，创建字段，创建索引，修改索引，修改字段，重命名表，删除索引，删除字段，删除表。这些操作如果都需要对多种数据库进行兼容和可平滑升级，那么复杂度就会突然增加，基本不可能像传统应那样通 SQL 脚本进行管理，而猪齿鱼面临的就是这种情况。

▍1.2 跨服务数据的自动初始化

在微服务架构中，不可避免的会出现需要将数据初始化到其他服务的场景，比如猪齿鱼的大部分服务都需要初始化菜单数据到 IAM 服务，处理菜单列表的请求是由 IAM 服务处理的，然而对于微服务的部署而言，很多时候又不能运行初始化数据的时候连接多个数据源从而产生问题。而且微服务的部署可能不是全量的，存在这个部署不需要这个服务的情况，这种情况的初始化又需要修改初始化的脚本或者程序带来复杂性。

▍1.3 繁琐的编码化数据的自动发现

数据的初始化中有一类数据是可以从代码或者文档，或者其它地方收集提取出来的，并且这部分数据往往比较繁琐和庞大，比如在猪齿鱼中的权限鉴定需要 URL 与 Controller，Method 的映射关系，这部分数据如果手工进行初始化会产生很大的工作量，并且在实际代码修改后可能初始化数据没有更新产生问题。

猪齿鱼的本服务数据的初始化

认识到这些问题后接下来再来介绍一下猪齿鱼在多次迭代后对这些问题提出的解决方案。先来看对于本服务数据初始化的解决方案，这部分的具体实现可以参考开源代码：https://github.com/choerodon/choerodon-starters/tree/master/choerodon-liquibase

▍2.1 数据表结构的初始化

对于数据库表结构的初始化猪齿鱼采用 Liquibase 开源项目，具体为使用 Liquibase 的 Groovy DSL，增强了 Liquibase 的灵活性，并且 Liquibase 本身支持平滑升级和多数据库支持解决了表结构初始化的问题。

▍2.2 本服务预置数据的初始化

对于一些预置数据，包括预置的用户角色，以及自动化测试执行时候需要的预置数据，猪齿鱼使用 Excel 来辅助初始化的数据，方便操作，填充，关联。

猪齿鱼的跨服务数据的初始化

下面再看一下猪齿鱼关于跨服务数据初始化和自动发现数据的处理方式。

▍3.1 自动发现数据的初始化

服务启动后通过管理服务访问各个服务的通用接口从 ClassPath 中获取数据通过分布式事务进行初始化。

具体代码参考：https://github.com/choerodon/manager-service/blob/master/src/main/java/io/choerodon/manager/api/eventhandler/EurekaEventObserver.java

▍3.2 跨服务预置数据的初始化

使用与本服务预置数据一样格式的 Excel 进行填写数据，编译时将 Excel 转化为 Json 数据，最终和自动发现数据一同通过分布式事务初始化。其中编译时将 Excel 生成 Json，并且通过 Maven 的依赖关系进行合并使用了猪齿鱼 Maven 插件，具体代码参考：https://github.com/choerodon/choerodon-starters/tree/master/choerodon-maven-plugin

结语

猪齿鱼数据初始化的方式从早期的 SQL 脚本，到 Liquibase，再加上为了满足菜单初始化需要而设计的独立 Python 初始化工具，在 0.17.0 版本中统一升级为 Liquibase Groovy + Excel 的形式，解决了目前遇到的所有问题。以上就是猪齿鱼数据初始化的整个迭代过程和实现思路，谢谢大家。

本文由猪齿鱼技术团队原创，转载请注明出处