数据库分表之Mybatis+Mysql实践（含部分关键代码）

2018年01月31日

     随着我们系统用户数量的日增，业务数据处于一个爆发前，增长的数据量已经给我们的系统造成了很大的不确定。在上个周末用户量较多，并发较大的情况下，读写频繁的验证码表，数据量达到几十万上百万的时候出现了锁表阻塞，导致用户登录验证失败，进而导致系统的一度反应较慢，甚至登录不上等问题。查了很多资料，发现大家都是偏理论，索性自己实现了，发出来以作记录，也能给别人一些帮助。诸位有什么高明意见，欢迎交流。个人QQ：1612301243,非诚勿扰。

     由于这种读写更新频繁的表，造成性能下降，仅仅通过添加redis缓存已经解决不了问题。所以我们引入了数据库表切分的解决方案。

     考虑到业务表数据量的增长情况，我们决定采用按周或者按月的方式进行表的切分，具体路由规则如下：

           切分策略，见仁见智。

package com.**.uc.utils;

import java.util.Calendar;

import org.apache.commons.lang.StringUtils;

public class TableRouter {

            

            /**

             * table路由规则，获取新表名称

             * @param prefix  表明前缀

             * @param strategy 切分策略,

             * @return

             */

            public static String getUcCaptchaTable(String prefix,String strategy ){

                        //根据切分策略进行切分，添加一定的容错，该部分主要是针对读写频繁的验证码表，故部分代码写死为主表的数据；

                        //切分策略为周时，返回“表名_年份周次”，也就是说一年会有52张表

                        //切分策略为月时，返回“表名_年份月份”，也就是说一年会有12张表

                        //该种切分策略的弊端，是在周末凌晨或者月末凌晨的几分钟，存在验证不存在的情况，在我们的系统允许范围内，故此处未做特殊处理。

                        if(StringUtils.isNotBlank(prefix)&&StringUtils.isNotBlank(strategy)&&prefix.equals("uc_captcha")&&"week".equals(strategy)){

                                    Calendar c=Calendar.getInstance();

                    int i = c.get(Calendar.WEEK_OF_YEAR);

                    StringBuffer sb = new StringBuffer();

                    int year = c.get(Calendar.YEAR);

                    String suffix = sb.append(year).append(i).toString();

                    System.out.println(suffix);

                    return prefix+"_"+suffix;

                        }else if(StringUtils.isNotBlank(prefix)&&StringUtils.isNotBlank(strategy)&&prefix.equals("uc_captcha")&&"month".equals(strategy)){

                                    Calendar c=Calendar.getInstance();

                    int i = c.get(Calendar.MONTH);

                    StringBuffer sb = new StringBuffer();

                    int year = c.get(Calendar.YEAR);

                    String suffix = sb.append(year).append(i).toString();

                    System.out.println(suffix);

                    return prefix+"_"+suffix;

                        }

                        //获取不到分表名称，则返回主表名称

                        return "uc_captcha";

            }

            

}

切分策略写好后，关键的是我们需要将我们的sql中对应的表名更改为动态传入，此处用到的是mybatis的多参数映射属性。

部分java代码与xml代码如下：

java代码如下（支持集中基本的数据类型，注意map的写法，list的话，采用list 小写）：

             /**插入一条数据 **/

   public int add(@Param("table") String table  ,@Param("map") Map<String,Object> map);

             /**更新一条数据**/

   public int update(@Param("table") String table  ,@Param("map") Map<String,Object> map);

 

xml文件：注意表名的写法 ${table}使用${}不携带jabcType，也不能使用#;map取参数，使用map.prapmeter 取参数

      <!-- 插入一条新记录 -->

      <insert id="add" parameterType="map">

       insert into ${table}(pid,btype,uid,naccount,capthcha,ntype,ctime,expiration)

       values(

       #{map.pid, jdbcType=VARCHAR},

       #{map.type, jdbcType=VARCHAR},

       #{map.uid, jdbcType=VARCHAR},

       #{map.phone, jdbcType=VARCHAR},

       #{map.code, jdbcType=VARCHAR},

       #{map.is_active, jdbcType=VARCHAR},

       #{map.ctime, jdbcType=VARCHAR},

       #{map.invalid_time, jdbcType=VARCHAR}

       )

       <selectKey resultType="int" keyProperty="pid" >

             SELECT @@IDENTITY AS pid

       </selectKey>

      </insert>

domain层调用如下：

 

int validation_id = validationDao.add(getCurrentTableName(),map);

其中getCurrentTableName()为内部方法，其中是根据配置的策略以及路由规则获取分表表名，代码如下：

 

/**

             * 获取当前分表名称

             */

            public String getCurrentTableName() {

                        String tableName =  TableRouter.getUcCaptchaTable("uc_captcha", strategy);

                        if(!this._this.existTable(tableName)){//不存在新表，则创建新表，并返回新表表名

                                    try {

                                                int tableCreateRes = validationDao.dynamicCreateTable(tableName);         

                                                if(tableCreateRes >=0){

                                                            //创建新表，清空表不存在的缓存，

                                                            this._this.notExistTable(tableName);

                                                }

                                    } catch (Exception e) {

                                                return "uc_captcha";

                                    }

                        }

                        return tableName;

            }

 

            /**

             * 缓存表是否存在，减轻

             */

            @Cacheable(value="uc2cache", key="'uc_captcha_exist_'+#tableName")

            public boolean existTable(String tableName){

                        int tableCount = validationDao.existTable(tableName);

                        if(tableCount == 0){//不存在新表，则创建新表，并返回新表表名

                                    return false;

                        }

                        return true;//存在

            }

           @CacheEvict(value="uc2cache", key="'uc_captcha_exist_'+#tableName")

            public void notExistTable(String tableName){}

考虑到每次都会调用数据库查询表是否存在，我们为减少对数据库的IO，我们采用了redis缓存的方式，其中AOP切面，自调用不起作用的情况，不在此处赘述。

你可以看到，不存在路由的分表的时候，我们会进行创建表，创建语句如下：

 

<!-- 查询表是否存在 -->

<select id="existTable" parameterType="String" resultType="Integer"> 

        select count(1)

        from information_schema.tables 

        where LCASE(table_name)=#{table,jdbcType=VARCHAR} 

    </select>

<!-- 创建表 -->

<update id="dynamicCreateTable" parameterType="String">

      CREATE TABLE  if not EXISTs ${table} (

  `pid` varchar(36) NOT NULL,

  `uid` int(11) DEFAULT NULL,

  `btype` varchar(30) NOT NULL COMMENT '业务类型例如：sign 用户注册。login 用户登陆',

  `ntype` varchar(30) NOT NULL COMMENT '短信、邮箱、微信等。根据系统支持取值',

  `naccount` varchar(30) NOT NULL COMMENT '手机号、邮箱、微信等',

  `capthcha` varchar(6) NOT NULL COMMENT '6位随机验证码',

  `expiration` int(11) NOT NULL COMMENT '有效期，距离1970年秒数',

  `ctime` int(11) NOT NULL COMMENT '创建时间距离1970年秒数',

  PRIMARY KEY (`pid`),

  KEY `fk_uccaptcha_uid` (`uid`),

  KEY `uk_uc_captcha_ub` (`btype`) USING BTREE,

  CONSTRAINT ${table}_ibfk_1 FOREIGN KEY (`uid`) REFERENCES `uc_users_ext` (`uid`) ON DELETE CASCADE

) ENGINE=InnoDB DEFAULT CHARSET=utf8

</update>

<!--成功返回0  失败会跑错，我们已经做了容错处理-->

至此，数据库的切分表功能基本完成。

 

发一个beanselfaware的链接 ：http://fyting.iteye.com/blog/109236