MySQL Mock大量数据做查询响应测试

　　上个迭代版本发布后，生产环境业务同事反馈仓配订单查询的页面加载时间过长。

　　因为页面原来是有的，这次开发是在原来基础上改的，因此没有额外做性能。测试环境只调用接口请求了少量数据去验证功能。在对比该迭代添加功能后，定位到问题应该是这次新加的一些字段获取太慢了，当单日有数万条数据，都分别从中台不同接口去取数时，因为中台接口是单个订单查询，而不支持批量查询。开发同事于是用每个订单去分别请求这些不同接口，就发生了业务反馈的问题。有中台路由组的轨迹接口，有中台订单组的派前电联接口，订单组的订单状态接口，数据量大时请求过慢。

　　让开发同事写了个定时任务，每隔15分钟执行，将订单向中台发请求的结果返回的数据缓存到redis里做异步处理，然后在从redis取数，理论上就能解决该问题。在用redisDesktopManager验证订单请求结果拿到了以后，自己不放心，再mock了5w条数据简单看看页面查询和翻页性能。

　　下面记录下生成数据的部分，备将来再次使用。可以利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中，这种方案插入数据是非常快的。

　　首先copy订单表的ddl，将ENGINE从InnoDB改成MEMORY，建一张内存表。

CREATE TABLE `o_order_main_memory` (
`id` bigint NOT NULL AUTO_INCREMENT COMMENT '订单',
`order_id` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '订单号（货主单号）',
`waybill_no` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '运单号',
`client_id` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '客户id',
`order_time` datetime DEFAULT NULL COMMENT '下单时间',
`order_type` varchar(10) COLLATE utf8mb4_bin DEFAULT '' COMMENT '  ',
`order_carrier` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '承运商',
`order_status` int NOT NULL DEFAULT '0' COMMENT '-1-取消，0-待揽收，14-揽件, 9-始发分拨，18-出分拨，10-签收，,11-异常',
`sender_name` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '发件人',
`sender_phone` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '发件人手机号',
`sender_province_code` varchar(64) COLLATE utf8mb4_bin DEFAULT '' COMMENT '发货区域省份编码',
`sender_city_code` varchar(64) COLLATE utf8mb4_bin DEFAULT '' COMMENT '发货区域城市编码',
`sender_country_code` varchar(64) COLLATE utf8mb4_bin DEFAULT '' COMMENT '发货区域区县编码',
`sender_address` varchar(255) COLLATE utf8mb4_bin DEFAULT '' COMMENT '发件人地址',
`receive_name` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '收件人姓名',
`receive_phone` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '收件人手机号',
`receiver_province_code` varchar(64) COLLATE utf8mb4_bin DEFAULT '' COMMENT '收货区域省份编码',
`receiver_city_code` varchar(64) COLLATE utf8mb4_bin DEFAULT '' COMMENT '收货区域城市编码',
`receiver_country_code` varchar(64) COLLATE utf8mb4_bin DEFAULT '' COMMENT '收货区域区县编码',
`receive_address` varchar(255) COLLATE utf8mb4_bin DEFAULT '' COMMENT '收件人地址',
`warehouse_id` varchar(50) COLLATE utf8mb4_bin DEFAULT '' COMMENT '仓库id',
`gmt_create` datetime DEFAULT NULL COMMENT '创建时间',
`gmt_modified` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',
`user_create` bigint DEFAULT NULL COMMENT '创建人',
`user_modified` bigint DEFAULT NULL COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `un_order_id` (`order_id`) USING BTREE
) ENGINE=MEMORY AUTO_INCREMENT=10000 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

————————————————

创建生成n个随机数字的函数

#生成n个随机数字
DELIMITER $$
CREATE FUNCTION randNum(n int) RETURNS VARCHAR(255)
BEGIN
DECLARE chars_str varchar(20) DEFAULT '0123456789';
DECLARE return_str varchar(255) DEFAULT '';
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*10 ),1));
SET i = i +1;
END WHILE;
RETURN return_str;
END $$
DELIMITER;
————————————————

创建生成号码函数

#生成随机手机号码
# 定义常用的手机头 130 131 132 133 134 135 136 137 138 139 186 187 189 151 157
#SET starts = 1+floor(rand()*15)*4; 截取字符串的开始是从 1、5、9、13 ...开始的。floor(rand()*15)的取值范围是0~14
#SET head = substring(bodys,starts,3);在字符串bodys中从starts位置截取三位

DELIMITER $$
CREATE FUNCTION generatePhone() RETURNS varchar(20)
BEGIN
DECLARE head char(3);
DECLARE phone varchar(20);
DECLARE bodys varchar(100) default "130 131 132 133 134 135 136 137 138 139 186 187 189 151 157";
DECLARE starts int;
SET starts = 1+floor(rand()*15)*4;
SET head = trim(substring(bodys,starts,3));
SET phone = trim(concat(head,randNum(8)));
RETURN phone;
END $$
DELIMITER ;
————————————————

创建随机字符串函数

#创建随机字符串和随机时间的函数
DELIMITER $$
CREATE FUNCTION `randStr`(n INT) RETURNS varchar(255) CHARSET utf8mb4
DETERMINISTIC
BEGIN
DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
DECLARE return_str varchar(255) DEFAULT '' ;
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str = concat(return_str, substring(chars_str, FLOOR(1 + RAND() * 62), 1));
SET i = i + 1;
END WHILE;
RETURN return_str;
END$$
DELIMITER;
————————————————

创建插入内存表数据的存储过程

# 创建插入内存表数据存储过程 入参n是多少就插入多少条数据

DELIMITER $$
CREATE DEFINER=`dev`@`%` PROCEDURE `add_o_order_main_memory`(IN n int)
BEGIN
DECLARE i INT DEFAULT 300;
WHILE (i <= n) DO
INSERT into o_order_main_memory (id,order_id,waybill_no,client_id,order_time,order_type,order_carrier,order_status,sender_name,sender_phone,sender_province_code,sender_city_code,sender_country_code,sender_address,receive_phone,receiver_province_code,receiver_city_code,receiver_country_code,receive_address,warehouse_id,gmt_create,gmt_modified,user_create,user_modified) VALUEs (NULL,randStr(20),randNum(15),'SNERP001','2022-03-22 08:03:05','CAINIAO','YUNDA','0','张三',generatePhone(),'420000','420100','420112','上海市青浦区华新镇111号','李四',generatePhone(),'320000','320200','320282','江苏省盐城市射阳县四明镇222号','cangku004',now(),now(),'111','111');
SET i = i + 1;
END WHILE;
END $$
DELIMITER ;

————————————————

调用存储过程插入数据

#先调用存储过程往内存表插入一万条数据，然后再把内存表的一万条数据插入普通表

CALL add_o_order_main_memory(10000);

#一次性把内存表的数据插入到普通表，这个过程是很快的
INSERT into o_order_main SELECT * from o_order_main_memory;
#清空内存表数据
delete from o_order_main_memory;

————————————————

因为我没有更改数据库内存表内存大小，所以单次插入内存表一万条数据是没问题的，但是单次插入内存表十万条数据就不行了，会报内存表已满的异常。如下图所示

要么修改内存表存储大小，要么分批执行

方法一：

修改内存表存储大小

SET GLOBAL tmp_table_size=2147483648;
SET GLOBAL max_heap_table_size=2147483648;

方法二：

调用我写的另一个存储过程 add_o_order_main_memory_to_outside

这个存储过程就是通过不断循环插入内存表，再从内存表获取数据插入普通表，最后删除内存表，以此循环直至循环结束。

#循环100次，每次生成10000条数据 总共生成一百万条数据

CALL add_o_order_main_memory_to_outside(100,10000);

过程中遇到的一个问题

执行创建函数的sql语句时，提示:This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled

在MySQL中创建函数时出现这种错误的解决方法：
在mysql数据库中执行以下语句 （临时生效，重启后失效）
    set global log_bin_trust_function_creators=TRUE;