深入详解美团点评CAT跨语言服务监控（五）配置与数据库操作

CAT配置

在CAT中，有非常多的配置去指导监控的行为，每个配置都有相应的配置管理类来管理，都有一个配置名， 配置在数据库或者配置文件中都是以xml格式存储，在运行时会被解析到具体实体类存储。我们选取一个配置的初始化代码来分析：

public class ServerFilterConfigManager implements Initializable {
    @Inject
    protected ConfigDao m_configDao;

    private volatile ServerFilterConfig m_config;

    private static final String CONFIG_NAME = "serverFilter";

    @Override
    public void initialize() throws InitializationException {
        try {
            Config config = m_configDao.findByName(CONFIG_NAME, ConfigEntity.READSET_FULL);
            String content = config.getContent();

            m_configId = config.getId();
            m_modifyTime = config.getModifyDate().getTime();
            m_config = DefaultSaxParser.parse(content);
        } catch (DalNotFoundException e) {
            try {
                String content = m_fetcher.getConfigContent(CONFIG_NAME);
                Config config = m_configDao.createLocal();

                config.setName(CONFIG_NAME);
                config.setContent(content);
                m_configDao.insert(config);
                m_configId = config.getId();
                m_config = DefaultSaxParser.parse(content);
            } catch (Exception ex) {
                Cat.logError(ex);
            }
        } catch (Exception e) {
            Cat.logError(e);
        }
        if (m_config == null) {
            m_config = new ServerFilterConfig();
        }
        Threads.forGroup("cat").start(new ConfigReloadTask());
    }
}

以上代码是serverFilter配置的初始化逻辑，该配置的管理类是ServerFilterConfigManager，可以看到他实现了Initializable接口，所以，在ServerFilterConfigManager被plexus容器实例化之后，就会调用initialize()做一些初始化的工作，咱们看看他的初始化逻辑。

1、他首先读取cat数据库的config表，如果根据配置名 CONFIG_NAME 找到相关的配置信息。

2、如果 config 表中存在配置信息，则通过 DefaultSaxParser.parse(content) 方法解析xml配置信息，并将解析后的配置信息写入实体对象ServerFilterConfig m_config，我们的xml配置文件必须遵守CAT的解析规则，他们才会被正确的解析成对应的XxxConfig对象，具体配置规则大家在有需要的时候一步步摸索。

3、如果 config 表中不存在配置信息，就会去读取默认 xml 文件， 解析后写入到数据库和实体对象，下次再初始化的时候就是直接从数据库读取了，xml一般存在于cat-core/src/main/resources/config/ 和 cat-home/src/main/resources/config/ 两个目录。

4、其中有两个配置 serverFilter 和 aggreationConfig， 开启了检查更新线程，线程每隔1分钟检查配置是否更新，有更新就重新加载配置。

5、server.xml 配置文件的目录是由环境变量 CAT_HOME指定的，由CatHomeModule在setup安装的时候初始化。

我们来列一列cat有哪些配置

代码自动生成

上一节 ServerFilterConfigManager 类代码中的配置实体ServerFilterConfig的定义为 public class ServerFilterConfig extends BaseEntity<ServerFilterConfig>，所有的实体类都继承自BaseEntity<T>，这些实体类代码不是自己写的，而是通过插件生成的，插件在cat-home/pom.xml，cat-core/pom.xml，cat-consumer/pom.xml 中都会有定义，用以添加需要的实体，包括后面数据库的操作相关的实体，也是通过类似方式生成，这有点类似mybatis的数据库表对象生成器generator，我们来看看cat-core中的一个插件的定义：

<plugins>
   <plugin>
      <groupId>org.unidal.maven.plugins</groupId>
      <artifactId>codegen-maven-plugin</artifactId>
      <executions>
         <execution>
            <id>generate data model</id>
            <phase>generate-sources</phase>
            <goals>
               <goal>dal-model</goal>
            </goals>
            <configuration>
               <manifest>${basedir}/src/main/resources/META-INF/dal/model/server-manifest.xml,
                          ${basedir}/src/main/resources/META-INF/dal/model/command-format-manifest.xml,
                          ...
                          ${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml,
               </manifest>
            </configuration>
         </execution>
         <execution>
            <id>generate dal jdbc model</id>
            <phase>generate-sources</phase>
            <goals>
               <goal>dal-jdbc</goal>
            </goals>
            <configuration>
               <manifest>${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml,
                          ${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml,
                          ${basedir}/src/main/resources/META-INF/dal/jdbc/app-manifest.xml, <![CDATA[,
                  ${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml,
                  ${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml,
               ,]]></manifest>
            </configuration>
         </execution>
      </executions>
   </plugin>
<plugins>

插件在pom.xml中定义后，会在Maven Projects功能中展现出来，如图5：

插件会根据xml中的描述，生成相应的类，比如 ServiceFilterConfig实体类的描述文档为： ${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml，这个文档是个父文档，它将引入文档server-filter-config-codegen.xml和server-filter-config-model.xml，这两个文档有对将要生成的类的成员变量、成员函数的描述。

在下一章节的消息分析器中，和报表相关的非常多的实体类 EventReport、EventType、EventName、TransactionReport、TransactionType、TransactionName、Machine等等，都是由CAT代码生成插件根据配置 cat-sonsumer/src/main/resources/META-INFO/dal/model/*.xml 自动生成的，我们可以通过修改xml文件为我们的报表添加新的成员变量。

数据库操作

在上一节插件中，还有一个是与数据库操作相关类的生成有关的，比如上边config表相关数据库操作类的描述文档为${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml，插件会根据xml文档生成Config、ConfigDao、ConfigEntity三个类放在下图目录中：

那么config表有什么作用呢？这三个类分别有什么用途？在上一节我们多次用到这张表，例如我们初始化配置的时候，读取config表的记录，如果没有初始数据的话，配置管理类会从xml读取配置信息并插入config表了。

现在我们来讲一讲cat的数据库操作，先看看数据库操作的类图：

对数据库表的操作位于Dao类中，比如Config表的操作类就是 ConfigDao，所有Dao继承自AbstractDao，每个Dao都会拥有数据库执行引擎(QueryEngine)的指针，用以执行所有的SQL语句，QueryEngine在Dao初始化函数initialize()中被实例化，

每个执行引擎QueryEngine都拥有实体信息管理(EntityInfoManager)，以及查询解析器(QueryResolver)，查询执行器(QueryExecutor)，事务管理器(TransactionManager)，

实体信息管理类(EntityInfoManager)管理每个表的Entity信息，Entity中描述对数据库的具体操作，Config表的实体对象就是ConfigEntity，他会在AbstractDao.initialize()函数中向EntityInfoManager注册。

另外还有一个关键的类，就是Config类，继承自DataObject，是对config表的所有字段的描述。

我们来看几个数据库操作的案例，下面源码，

public class ConfigDao extends AbstractDao {
    public List<Config> findAllConfig(Readset<Config> readset) throws DalException {
      Config proto = new Config();

      List<Config> result = getQueryEngine().queryMultiple(
            ConfigEntity.FIND_ALL_CONFIG,
            proto,
            readset);

      return result;
   }

   public Config findByName(String name, Readset<Config> readset) throws DalException {
      Config proto = new Config();

      proto.setName(name);

      Config result = getQueryEngine().querySingle(
            ConfigEntity.FIND_BY_NAME,
            proto,
            readset);

      return result;
   }

   public int insert(Config proto) throws DalException {
      return getQueryEngine().insertSingle(
            ConfigEntity.INSERT,
            proto);
   }

   @Override
   protected Class<?>[] getEntityClasses() {
      return new Class<?>[] { ConfigEntity.class };
   }
}

函数功能：

1、findAllConfig函数是获取所有的配置，返回的对象，是Config的List列表，调用查询引擎QueryEngine的queryMultiple 查询多条记录方法，传入的参数分别是实体操作方法ConfigEntity.FIND_ALL_CONFIG、查询条件数据proto、readset。

2、findByName函数则是按名字查询Config配置，逻辑跟上一个类似。

3、insert函数是插入一条config记录，调用查询引擎的insertSingle方法，参数分别是实体方法ConfigEntity.INSERT， 插入数据 proto。

4、getEntityClasses函数获取实体类

接下来我们以查询单条记录作为例子来看看查询引擎的实现逻辑，如下源码：

public class DefaultQueryEngine extends ContainerHolder implements QueryEngine {
    public <T extends DataObject> T querySingle(QueryDef query, T proto, Readset<?> readset) throws DalException {
        QueryContext ctx = this.createContext(query, proto);
        ctx.setReadset(readset);
        ctx.setFetchSize(1);
        this.m_queryResolver.resolve(ctx);
        List<T> results = this.m_queryExecutor.executeQuery(ctx);
        if(results.isEmpty()) {
            throw new DalNotFoundException("No record has been found for " + proto);
        } else {
            return (DataObject)results.get(0);
        }
    }

    protected <T extends DataObject> QueryContext createContext(QueryDef query, T proto) {
        QueryContext ctx = new DefaultQueryContext();
        EntityInfo enityInfo = this.m_entityManager.getEntityInfo(query.getEntityClass());
        Map<String, Object> queryHints = this.getQueryHints(query, proto);
        ctx.setQuery(query);
        ctx.setProto(proto);
        ctx.setEntityInfo(enityInfo);
        ctx.setQueryHints(queryHints);
        return ctx;
    }
}

1、数据库引擎首先为该查询和对应条件数据proto创建查询上下文(QueryContext)，

2、然后会设置readset，并设置查询条数为1条，

3、然后将上下文交给查询解析器(QueryResolver)，解析器会根据查询上下文解析成对应的sql状态语，复制到上下文的 m_sqlStatement字段

4、最后将上下文交给执行器QueryExecutor去执行。并返回结果，如果没有找到结果，引擎会抛出DalNotFoundException异常。

数据库连接管理

数据库记录的更新与插入最终会由 MysqlWriteHandler 执行，而查询则由 MysqlReadHandler执行，两个Handler都会通过TransactionManager 的 getConnection 函数获取数据库的连接。

数据库连接是由DataSource管理，DataSource是由数据源管理器(DataSourceManager)管理，TransactionManager 拥有DataSourceManager的指针，DataSourceManager 提供函数getDataSource(String name)获取DataSource对象；

getDataSource函数首先会从DataSourceManager 自身 m_dataSources 中寻找指定数据源，如果没有找到，再从数据源描述管理器(JdbcDataSourceDescriptorManager) 中获取数据库数据源描述信息(JdbcDataSourceDescriptor)，然后利用描述信息去初始化连接池。

描述管理器也是先从自身 m_descriptors 中看是否存在指定描述信息(JdbcDataSourceDescriptor)，如果没有，则会通过 DataSourceProviver 生成描述信息。

DataSourceProviver可以认为是初始数据源描述信息(JdbcDataSourceDescriptor)的提供者，JdbcDataSourceDescriptorManager初始化的时候，Plexus容器会基于xml文档实例化 DataSourceProviver，这些xml文档有 cat-home/....../META-INF/plexus/components-cat-home.xml，cat-consumer/....../META-INF/plexus/components-cat-consumer.xml， cat-core/....../META-INF/plexus/components-cat-core.xml， 文档中的 datasourceFile 就是数据源配置路径，例如下面xml文档：

<component>
    <role>org.unidal.dal.jdbc.datasource.DataSourceProvider</role>
    <implementation>org.unidal.dal.jdbc.datasource.DefaultDataSourceProvider</implementation>
    <configuration>
        <datasourceFile>/data/appdatas/cat/datasources.xml</datasourceFile>
    </configuration>
</component>

JdbcDataSourceDescriptorManager是如何通过DataSourceProviver获取数据源描述信息(JdbcDataSourceDescriptor)？实际上是通过DataSourceProviver读取并解析datasourceFile文件，例如上面的/data/appdatas/cat/datasources.xml，然后将解析后的数据写入 DataSourceDef 对象，然后JdbcDataSourceDescriptorManager调用 buildDescriptor(DataSourceDef ds) 创建描述信息，下面是buildDescriptor的源码：

public class JdbcDataSourceDescriptorManager extends ContainerHolder implements Initializable {
    private Map<String, JdbcDataSourceDescriptor> m_descriptors = new HashMap();
    private List<DataSourceProvider> m_providers;
    private String m_datasourceFile;

    protected JdbcDataSourceDescriptor buildDescriptor(DataSourceDef ds) {
        JdbcDataSourceDescriptor d = new JdbcDataSourceDescriptor();
        PropertiesDef properties = ds.getProperties();
        String url = properties.getUrl();
        String connectionProperties = properties.getConnectionProperties();
        if(connectionProperties != null && connectionProperties.length() > 0) {
            d.setProperty("url", url + "?" + connectionProperties);
        } else {
            d.setProperty("url", url);
        }

        d.setId(ds.getId());
        d.setType(ds.getType());
        d.setProperty("driver", properties.getDriver());
        d.setProperty("user", properties.getUser());
        d.setProperty("password", properties.getPassword());
        d.setProperty("login-timeout", Integer.valueOf(this.toTime(ds.getConnectionTimeout())));
        d.setProperty("max-idle-time", Integer.valueOf(this.toTime(ds.getIdleTimeout())));
        d.setProperty("min-pool-size", ds.getMinimumPoolSize());
        d.setProperty("max-pool-size", ds.getMaximumPoolSize());
        d.setProperty("checkout-timeout", ds.getCheckoutTimeoutInMillis());
        return d;
    }
}

数据源描述信息包含哪些内容呢，我们结合上面源码和下面的 datasources.xml配置来看，

每个data-source都有一个id； type默认jdbc； driver 默认为 com.mysql.jdbc.Driver、url、用户名、密码，登陆超时、连接池大小、超时检测等等。

<data-source id="cat">
    <maximum-pool-size>3</maximum-pool-size>
    <connection-timeout>1s</connection-timeout>
    <idle-timeout>10m</idle-timeout>
    <statement-cache-size>1000</statement-cache-size>
    <properties>
        <driver>com.mysql.jdbc.Driver</driver>
        <url><![CDATA[jdbc:mysql://192.168.20.67:3306/cat]]></url>
        <user>root</user>
        <password>f63hiccVEv0mMXi</password>
        <connectionProperties><![CDATA[useUnicode=true&autoReconnect=true]]></connectionProperties>
    </properties>
</data-source>