MySQL优化实例

这周就要从泰笛离职了，在公司内部的wiki上，根据公司实际的项目，写了一些mysql的优化方法，供小组里的小伙伴参考下，没想到大家的热情很高，还专门搞了个ppt讲解了一下。

举了三个大家很容易犯错的地方，之前项目中也存在，后期修正了。

MySQL优化实例（一）

以我们项目中一个sql语句为例，展示sql语句优化的步骤。

webService项目中有个getWashXiaogeId的封装方法，用于分配配送小哥。

其中，有一段逻辑是查询某个小哥当前的配送订单量（绿植+洗涤）。查询慢查询日志时发现，这个sql的执行效率很差。

-- 定义变量
SET @todayZero = DATE_FORMAT(now(), '%Y-%m-%d 00:00:00');
SET @tomorrowZero = DATE_FORMAT(
    FROM_UNIXTIME(
        UNIX_TIMESTAMP(now()) + 86400
    ),
    '%Y-%m-%d 00:00:00'
);
SET @takeUserId = 255;
-- 查询某个小哥当前的配送数
SELECT
    count(0) AS count
FROM
    `tidy_plant_order`
WHERE
    `current_takeuserid` = @takeUserId
AND `create_datetime` > @todayZero
AND `create_datetime` < @tomorrowZero
UNION ALL
    SELECT DISTINCT
        count(*) AS count
    FROM
        `tidy_session_order`
    WHERE
        (
            `takeuserid` = @takeUserId
            OR `yunuserid` = @takeUserId
        )
    AND `create_datetime` > @todayZero
    AND `create_datetime` < @tomorrowZero

我们在explain这个select语句发现：

在查询洗涤订单表的时候，MySQL进行了全表扫描，这意味着MySQL必须扫描整张表，从头到尾，去找到需要的行。

这条sql优化的地方很多，例如：

0）可以将or关键字改为in或者union；

1）可以将union拆分成N条简单的sql查询，避免MySQL使用到临时表，在逻辑层求和；

2）可以根据实际的业务模型，添加索引或修改当前错误的索引；

3）若2）代价较高，则可以基于现有的索引，优化sql语句，尽可能使用到目前已经存在的索引；

我们将tidy_session_order的现有索引贴出：

发现，有两个多列索引index_st和index_sy有我们需要的字段，即takeuserid和yunuserid。（这两个索引本身是有问题的，status的选择性比takeuserid/yunuserid要差，如果要建多列索引，也是应该takeuserid/yunuserid为第一列，status为第二列）。

所以我们将现有的sql优化成以下的样子：

-- 定义变量
SET @todayZero = DATE_FORMAT(now(), '%Y-%m-%d 00:00:00');
SET @tomorrowZero = DATE_FORMAT(
    FROM_UNIXTIME(
        UNIX_TIMESTAMP(now()) + 86400
    ),
    '%Y-%m-%d 00:00:00'
);
SET @takeUserId = 255;
-- 查询某个小哥当前的配送数
SELECT
    COUNT(*) AS count
FROM
    tidy.`tidy_plant_order`
WHERE
    `current_takeuserid` = @takeUserId
AND `create_datetime` BETWEEN @todayZero
AND @tomorrowZero
UNION ALL
    SELECT DISTINCT
        COUNT(*) AS count
    FROM
        tidy.`tidy_session_order`
    WHERE
        `status` IN (0, 1, 2, 3, 4, 5, 7, 9, 10, 11, 12)
    AND `yunuserid` = @takeUserId
    AND `takeuserid` != @takeUserId
    AND `create_datetime` BETWEEN @todayZero
    AND @tomorrowZero
    UNION ALL
        SELECT DISTINCT
            COUNT(*) AS count
        FROM
            tidy.`tidy_session_order`
        WHERE
            `status` IN (0, 1, 2, 3, 4, 5, 7, 9, 10, 11, 12)
        AND `takeuserid` = @takeUserId
        AND `create_datetime` BETWEEN @todayZero
        AND @tomorrowZero

explain这个sql发现：

查询时间从原来的0.5-1s 降至了 0.01-0.02s。

MySQL优化实例（二）

本实例以短信验证码为例，展示创建覆盖索引的优势。

覆盖索引的定义：

如果一个索引包含（或者说覆盖）所有需要查询的字段的值，我们就称之为“覆盖索引”。

实例：

我们的app在登陆时，需要获取验证码，验证通过才能使用我们的服务。在发送短信的同时，我们会在记录表中插入一个条记录，用户在输入验证码后，以此来判断用户输入值是否正确。

SET @phone = 13651999158;
SET @code = 123456;
SELECT
    count(0)
FROM
    tidy_verification_code_log
WHERE
    phone = @phone
AND `code` = @code
AND `timestamp` > UNIX_TIMESTAMP(NOW()) - 120000;

我们explain发现：

MySQL通过全表扫描的方式，查找需要的那条记录，效率极差。

我们可以通过创建一个覆盖索引的方式来进行优化。

alter table tidy_verification_code_log add index`index_pct`(`phone`, `code`, `timestamp`);

将此前的SQL优化成：

SET @phone = 13651999158;
SET @code = 123456;
SELECT
    `timestamp`
FROM
    tidy_verification_code_log
WHERE
    phone = @phone
AND `code` = @code
-- 然后在逻辑层判断timestamp是否超时

explain显示：

在Extra列中，如果出现Using index，则表示MySQL将使用覆盖索引，以避免访问表。

覆盖索引的优势：

当索引中的列包含所有查询中需要使用的列的时候，MySQL就可以使用索引返回需要的数据，而无须查询对应的数据行。由于InnoDB的聚簇索引特性，覆盖索引对InnoDB表特别有用。InnoDB的二级索引在叶子节点中保存了行的主键值，所以如果二级索引能够覆盖查询，则可以避免对主键索引的二次查询。

MySQL优化实例（三）

本实例展示如何正确地创建一个多列索引（或者称为联合索引）。

为每个列创建独立的索引或者按照错误的顺序创建多列索引，是常见的错误索引策略。

索引的选择性：

索引的选择性是指，不重复的索引值（也称为基数，cardinality）和数据表的记录的总数（#T）的比值，范围从1/#T到1之间。索引的选择性越高则查询效率越高，因为选择性高的所以可以让MySQL在查找时过滤掉更多的行。唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的。

错误示例1，不应该建多列索引：

tidy_barcode表中有一个多列索引index_si：

CREATE TABLE `tidy_barcode` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `orderid` int(11) NOT NULL COMMENT '订单号',
  `session_id` bigint(20) NOT NULL DEFAULT '0' COMMENT '预订单编号',
  `gpid` int(11) NOT NULL DEFAULT '0' COMMENT '洗涤衣物的总分类',
  `gcid` int(11) NOT NULL DEFAULT '0' COMMENT '洗涤衣物的子分类',
  `goodid` int(11) NOT NULL COMMENT '商品id',
  `goods` varchar(100) NOT NULL DEFAULT '' COMMENT '洗涤衣物的称呼',
  `goodstype` varchar(50) NOT NULL DEFAULT '' COMMENT '洗涤衣物的类型',
  `num` decimal(4,2) unsigned NOT NULL,
  `price` decimal(11,2) NOT NULL DEFAULT '0.00' COMMENT '洗涤衣物价格',
  `disprice` decimal(11,2) NOT NULL DEFAULT '0.00' COMMENT '洗涤衣物折扣价',
  `realprice` decimal(11,2) NOT NULL DEFAULT '0.00' COMMENT '洗涤衣物实际价',
  `goods_item_id` bigint(20) NOT NULL DEFAULT '0' COMMENT '订单明细表对应的ID',
  `barcode` varchar(30) NOT NULL DEFAULT '' COMMENT '条码',
  `originbarcode` varchar(30) NOT NULL DEFAULT '' COMMENT '初始条码',
  `goodimg` varchar(512) NOT NULL DEFAULT '' COMMENT '商品图片',
  `goodinfo` varchar(100) NOT NULL DEFAULT '' COMMENT '洗涤衣物的备注信息',
  `status` tinyint(2) NOT NULL DEFAULT '0' COMMENT '每件衣物的状态',
  `ifscan` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否已扫描',
  `ifnormal` tinyint(4) DEFAULT NULL COMMENT '0无异常，1异常，2异常修复，3取消，4改码，5加件',
  `changemark` varchar(100) NOT NULL DEFAULT '' COMMENT '修改备注',
  `mark` varchar(100) NOT NULL COMMENT '异常备注',
  `userid` int(11) NOT NULL DEFAULT '0' COMMENT '异常提交者',
  `createdatetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '创建时间',
  `goods_mark` int(10) NOT NULL DEFAULT '1' COMMENT '1、正常价格衣物。2、童装类型衣物',
  PRIMARY KEY (`id`),
  KEY `index_se` (`session_id`),
  KEY `index_si` (`status`,`ifnormal`),
  KEY `index_b` (`barcode`)
) ENGINE=InnoDB AUTO_INCREMENT=591457 DEFAULT CHARSET=utf8;

status，ifnormal的字段本身选择性就很差，不适合作为索引或者多列索引的第一列，就像我们一般不会在性别这一列添加索引（当然也有例外）。

错误示例2，多列索引顺序错误：

tidy_session_order表中有一个多列索引index_st：

CREATE TABLE `tidy_session_order` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `show_id` bigint(20) NOT NULL DEFAULT '0' COMMENT '订单编号',
  `phone` bigint(15) NOT NULL DEFAULT '0' COMMENT '用户手机号',
  `cname` varchar(30) NOT NULL DEFAULT '' COMMENT '客户名',
  `totalprice` decimal(12,2) NOT NULL DEFAULT '0.00' COMMENT '洗涤总价',
  `disprice` decimal(12,2) NOT NULL DEFAULT '0.00' COMMENT '折扣价格',
  `realprice` decimal(12,2) NOT NULL DEFAULT '0.00' COMMENT '实际价格',
  `ispay` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否支付：0为未支付；1为已支付；',
  `integral` int(11) NOT NULL DEFAULT '0' COMMENT '积分',
  `shou_serverid` int(11) NOT NULL DEFAULT '0' COMMENT '收去网点编号',
  `song_serverid` int(11) NOT NULL DEFAULT '0' COMMENT '派送网点编号',
  `lat` varchar(20) NOT NULL DEFAULT '0' COMMENT '经度',
  `lng` varchar(20) NOT NULL DEFAULT '0' COMMENT '纬度',
  `city_id` int(6) NOT NULL DEFAULT '0' COMMENT '城市编号',
  `shou_address` varchar(100) NOT NULL DEFAULT '' COMMENT '收件地址',
  `song_address` varchar(100) NOT NULL DEFAULT '' COMMENT '送件地址',
  `coe_state` int(11) NOT NULL DEFAULT '0' COMMENT '多状态标示 ',
  `is_appoint` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否为预约订单 0为非预约 1为预约订单',
  `appoint_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '预约的时间点',
  `equ_type` char(10) NOT NULL DEFAULT '' COMMENT '设备类型 ios 、android',
  `equ_id` varchar(60) NOT NULL DEFAULT '' COMMENT '设备唯一标识',
  `equ_info` varchar(255) NOT NULL DEFAULT '' COMMENT '设备信息 json格式类型',
  `create_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '创建日期',
  `take_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '取件时间',
  `order_id` int(11) NOT NULL DEFAULT '0' COMMENT '订单ID',
  `status` tinyint(2) NOT NULL DEFAULT '0' COMMENT '订单状态对应tidy_base_info表里的pid=18信息',
  `previsit_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '预计上门时间',
  `lry_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '送洗时间',
  `sor_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '分拣时间',
  `yun_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '派送时间',
  `done_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '订单的完成时间；即为status为4时的时间点',
  `done_type` tinyint(1) NOT NULL DEFAULT '0' COMMENT '签收类型 1为图片签收 2为音频签收',
  `done_verify` varchar(255) NOT NULL DEFAULT '' COMMENT '签收文件的保存路径',
  `operator_id` int(11) NOT NULL DEFAULT '0' COMMENT '操作人 0为用户自己取消 其他为操作人的编号',
  `mark` varchar(100) NOT NULL DEFAULT '' COMMENT '备注信息',
  `evaluation` tinyint(1) NOT NULL DEFAULT '0' COMMENT '评价星级；1为非常差；2为差；3为一般；4为满意；5为非常满意；',
  `evaluation_mark` varchar(60) NOT NULL DEFAULT '' COMMENT '评价内容:50个字以内；',
  `evaluation_datetime` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '评价的时间',
  `takeuserid` int(11) NOT NULL DEFAULT '0' COMMENT '取件人id',
  `okuserid` int(11) NOT NULL DEFAULT '0' COMMENT '加工人id',
  `yunuserid` int(11) NOT NULL DEFAULT '0' COMMENT '送件人id',
  `ifnormal` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否异常',
  `version` varchar(50) NOT NULL DEFAULT '' COMMENT '版本标识:1.5',
  `is_cash` tinyint(1) NOT NULL DEFAULT '0' COMMENT '标记是否现金支付',
  `is_del` tinyint(1) NOT NULL DEFAULT '0' COMMENT '标注订单是否删除 1为是 0为否',
  `order_source` varchar(20) NOT NULL DEFAULT '泰笛' COMMENT '订单来源',
  `third_discount` decimal(12,2) NOT NULL DEFAULT '0.00' COMMENT '三方优惠金额,现金支付时扣除该金额',
  `settle_accounts` tinyint(1) NOT NULL DEFAULT '0' COMMENT '第三方订单是否已结算',
  `modify_datetime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '数据发生修改的时间',
  `abnormal` int(2) DEFAULT '0' COMMENT '异常标记，0为正常状态,1为部分返洗，2为全部返洗',
  `ispart` int(1) NOT NULL DEFAULT '0' COMMENT '是否部分签收',
  `is_sign` tinyint(1) NOT NULL DEFAULT '0' COMMENT '客户是否签收',
  `isperiod` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否周期洗 1为true 0为false',
  PRIMARY KEY (`id`),
  KEY `index_st` (`status`,`takeuserid`),
  KEY `index_sy` (`status`,`yunuserid`),
  KEY `index_so` (`status`,`okuserid`),
  KEY `index_show` (`show_id`),
  KEY `index_pc` (`phone`,`create_datetime`)
) ENGINE=InnoDB AUTO_INCREMENT=4774982 DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT='洗涤预订单表';

takeuserid的选择性比status要大，如果一定要创建这两个字段的多列索引的话，takeuserid在第一列，status在第二列。

通过下面这个SQL即可比较多个字段的选择性差异：

SELECT
    COUNT(DISTINCT id) / COUNT(0) AS id,
    COUNT(DISTINCT phone) / COUNT(0) AS phone,
    COUNT(DISTINCT takeuserid) / COUNT(0) AS takeuserid,
    COUNT(DISTINCT `status`) / COUNT(0) AS `status`,
    COUNT(0)
FROM
    tidy_session_order

查询结果显示：

错误示例3，滥用多列索引：

tidy_api_log表主要作用是，通过订单号或者手机号来查询相关的接口调用日志。表中index_op索引的创建时错误的。

CREATE TABLE `tidy_api_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `phone` bigint(20) NOT NULL DEFAULT '0' COMMENT '手机号',
  `order_id` bigint(20) NOT NULL DEFAULT '0' COMMENT '订单号',
  `api_controller` varchar(50) NOT NULL DEFAULT '' COMMENT '控制器',
  `api_action` varchar(50) NOT NULL DEFAULT '' COMMENT '方法名 ',
  `input_params` varchar(2000) NOT NULL DEFAULT '' COMMENT '输入参数',
  `output_message` varchar(255) NOT NULL DEFAULT '' COMMENT '输出信息',
  `output_params` varchar(2000) NOT NULL DEFAULT '输出参数',
  `output_status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '调用状态,1成功or0失败',
  `create_datetime` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '记录插入时间',
  PRIMARY KEY (`id`),
  KEY `index_op` (`order_id`,`phone`)
) ENGINE=InnoDB AUTO_INCREMENT=2542672 DEFAULT CHARSET=utf8 COMMENT='v2.0接口调用日志';

根据上述的业务表述，应该分别对order_id和phone创建独立的索引或去其他字段联合建立多列索引。