无聊期间 记录下 mysql 一次性插入上万条数据 测试的时候可以用 首先 创建一个表 t3 create table t3(id int)ENGINE = MyISAM; \d //    表示吧mysql 的结束标志改成 //   默认情况下  mysql 的结束标志是 ; 这样 创建一个procedure  方法 最后end  //   表示结束 最后用 \d ;   吧mysql原生的结束符号; 换回来 我这里就不贴出来了. 使用命令 call p3; (呼叫p3 搬砖了 :-) ) 最

Mysql 如何批量插入百万行测试数据

最近为了测试项目,需要在Mysql中插入百万级测试数据,于是用到了批量插入,自己写了个简单的Spring Cloud项目. 开始时执行效率很慢,大概100条/秒,批次的大小也试过1000,2000,5000这三个级别,效率还是很低. 查阅资料发现,mysql连接需要加上 rewriteBatchedStatements=true 经过测试,发现效率提高了100倍,达到了18000条/秒,对这个效率还是比较满意的!

CMySQLMgr.h: #ifndef _CMYSQLMGR_H_ #define _CMYSQLMGR_H_ #include <iostream> #include "mysql.h" using namespace std; class CMySQLMgr { public: CMySQLMgr(); ~CMySQLMgr(); bool Connect(const char * sHost, const char * sUser, const char * sPw

批处理数据主要有三种方式: 反复执行单条插入语句 foreach 拼接 sql 批处理 一.前期准备 基于Spring Boot + Mysql,同时为了省略get/set,使用了lombok,详见pom.xml. 1.1 表结构 id 使用数据库自增. DROP TABLE IF EXISTS `user_info_batch`; CREATE TABLE `user_info_batch` ( `id` bigint(11) unsigned NOT NULL AUTO_INCREMENT

述:相比oracle批量插入,mysql批量插入就简单的多了,mysql支持values后面跟多条数据,进行批量插入,并且主键可以自增,不像oracle会遇到序列问题. 1.建表 CREATE TABLE `test_batch` ( `id` ) NOT NULL AUTO_INCREMENT, `name` ) DEFAULT NULL, `account` ) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=

今天利用Mybatis的<for each>标签做oracle的批量插入数据时,发现和MySQL数据库有区别.在此记录下,以防之后再踩坑. 一.批量插入: 1.controller: /** * batchSaveAccountRole 批量给角色添加用户 * * @param role * @return R返回类型 */ @RequestMapping(value = "/batchSaveAccountRole", method = RequestMethod.PUT

MYSQL批量插入数据库实现语句性能分析 假定我们的表结构如下 代码如下   CREATE TABLE example (example_id INT NOT NULL,name VARCHAR( 50 ) NOT NULL,value VARCHAR( 50 ) NOT NULL,other_value VARCHAR( 50 ) NOT NULL) 通常情况下单条插入的sql语句我们会这么写: 代码如下   INSERT INTO example(example_id, name, valu

背景 前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下.测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记. 数据结构 寻思着分页时标准列分主键列.索引列.普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下: drop table if exists `test`.`t_model`; Crea

往 Mysql 中,插入10000条简单数据.速度很缓慢,竟然要5分钟左右, 可是打开事务的话.一秒不到就搞定了 代码: #include <iostream> #include <winsock2.h> #include <string> #include "mysql.h" #pragma comment(lib, "libmysql.lib"); using namespace std; int main() { MYSQL

假如说我有这样一个表,我想往这个表里面插入大量数据 CREATE TABLE IF NOT EXISTS `user_info` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增主键', `name` varchar(255) NOT NULL default '' COMMENT '姓名', `age` int(11) NOT NULL default '0' COMMENT '年龄', PRIMARY KEY (`id`) ) ENGINE

不管怎么样, 你需要大量的数据, 那么问题来了, 怎么快速地插入呢? 1. 这是我创建的一个批量插入的存储过程… 当然, 你可以把参数去掉, 一次性插入1W, 10W… CREATE DEFINER=`ijdb_user1`@`%` PROCEDURE `author_copy_self`(IN `nThousnd` INT) NO SQL BEGIN ; ; WHILE i < nThousnd DO INSERT INTO author(name,email) SELECT name,ema

前提工作: 1.在jmeter官网下载jmeter包(官网地址:https://jmeter.apache.org/).此外还需下载mysql驱动包,如:mysql-connector-java-5.1.28.jar. 2.在jmeter的lib目录下放入mysql-connector-java-5.1.28.jar包. 3.在jmeter的bin目录下启动jmeter.bat. 目标:向mysql数据库t_user_test插入三条数据. 一.线程组配置如下: 二.JDBC Connectio

1.批量插入 ServiceImpl层 List<Person> addPeople = new ArrayList<>(); //addPeople存放多个Person对象 personMapper.insetPeopleReturnIds(addPeople); Dao层接口(这里的注解param中的list对应xml中的 collection的值, 两者要保持一致! ) int insetPeopleReturnIds(@Param("list") Lis

#include <iostream> #include <winsock2.h> #include <string> #include "mysql.h" #pragma comment(lib, "libmysql.lib"); using namespace std; int main() { MYSQL mysql; mysql_init(&mysql); // 初始化 MYSQL *ConnStatus = my

一.在mysql数据库中创建一张表test DROP TABLE IF EXISTS `test`; CREATE TABLE `test` ( `id` INT (11), `name` VARCHAR (225), `age` INT (11), `create_time` DATE ); 二.使用存储过程插入数据 DROP PROCEDURE IF EXISTS BatchInsert; DELIMITER $$ CREATE PROCEDURE BatchInsert(IN i INT,

INSERT INTO t_base_role_resource_ref (refID, roleID, resID, orgID, belongTo) SELECT uuid() AS refID, t1.roleID, t1.resID, '1' AS orgID, 'school' AS belongTo FROM t_base_role_resource_ref t1 WHERE t1.belongTo = 'school-default'     AND NOT EXISTS (   

insert into:插入数据,如果主键重复,则报错 insert repalce:插入替换数据,如果存在主键或unique数据则替换数据 insert ignore:如果存在数据,则忽略. INSERT IGNORE INTO actor VALUES (3, 'ED', 'CHASE', '2006-02-15 12:34:33'): INSERT REPLACE INTO actor VALUES (3, 'ED', 'CHASE', '2006-02-15 12:34:33'): 另外

DROP TABLE IF EXISTS TeachersInfo; CREATE TABLE TeachersInfo ( id INT NOT NULL AUTO_INCREMENT, teacherCode VARCHAR(20) NULL, teacherName VARCHAR(30) NULL, roleID VARCHAR(20) NULL, SUBJECT INT NULL, CONSTRAINT PK_TEACHERSINFO PRIMARY KEY clustered (id

http://blog.51cto.com/tianxingzhe/1676097 DROP PROCEDURE test_insert ; DELIMITER $$ CREATE PROCEDURE test_insert() BEGIN DECLARE i INT DEFAULT 0; START TRANSACTION; WHILE i<10000000 DO insert into big_table( field01, field02, field03) SELECT FLOOR(RA

DROP PROCEDURE IF EXISTS insert_batch; CREATE PROCEDURE insert_batch() BEGIN ; loopname:LOOP '); ; THEN LEAVE loopname; END IF; END LOOP loopname; END; CALL insert_batch(); 总耗时: [SQL] CALL insert_batch();受影响的行: 1时间: 873.795s