（转载）mysql中百万级数据插入速度测试

(转载)http://www.111cn.net/database/mysql/42453.htm 100W的数据对于很多朋友来说算小菜了,但今天我就想到创建一个大量数据的测试环境,于是找了一下怎么插入100W条数据,我用的是20个字段.对比一下,首先是用 mysql 的存储过程弄的: mysql>delimiter $ mysql$$ mysql> create procedure test() begin ) ; dd:loop INSERT INTO `million` (`categ_…

Sql Server中百万级数据的查询优化

原文:Sql Server中百万级数据的查询优化万级别的数据真的算不上什么大数据,但是这个档的数据确实考核了普通的查询语句的性能,不同的书写方法有着千差万别的性能,都在这个级别中显现出来了,它不仅考核着你sql语句的性能,也考核着程序员的思想. 公司系统的一个查询界面最近非常慢,界面的响应时间在6-8秒钟时间,甚至更长.检查发现问题出现在数据库端,查询比较耗时.该界面涉及到多个表中的数据,基本表有150万数据,关联子表的最多的一个700多万数据,其它表数据也在几十万到几百万之间.其实按这样的数…

PHP+MySQL百万级数据插入的优化

插入分析 MySQL中插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例: 连接:(3) 发送查询给服务器:(2) 分析查询:(2) 插入记录:(1x记录大小) 插入索引:(1x索引) 关闭:(1) 如果我们每插入一条都执行一个SQL语句,那么我们需要执行除了连接和关闭之外的所有步骤N次,这样是非常耗时的,优化的方式有一下几种: 在每个insert语句中写入多行,批量插入将所有查询语句写入事务中利用Load Data导入数据每种方式执行的性能如下. Innodb引擎 InnoDB…

mysql中如何不重复插入满足某些条件的重复的记录的问题

最近在项目中遇到了这样的一个问题“: 在mysql数据库中需要每次插入的时候不能插入三个字段都相同的记录.在这里使用到了 insert into if not exists 和insert ignore into 这两种方式,既然使用到了就在这里总结一下吧,毕竟mysql中的函数或者关键字太多了,使用到了就将相关的都总结一下.分享出来各位爷参考参考. 先说我自己项目中使用到的,然后将所有可用的方法总结一下. 在项目中主要是用到了在多个线程中需要循环的将数据插入,而且根据指定的几个字段是可以唯…

[转载]MySQL中int(11)最大长度是多少？

原文地址:https://blog.csdn.net/allenjay11/article/details/76549503 今天在添加数据的时候,发现当数据类型为 int(11) 时,我当时让用户添加数据时,最大输入的长度为11位,结果,添加数据添加不上,导致出现问题,我又改为最大长度为10位,结果验证9个1的时候是正常的,再次验证9个9的时候又失败了. 经过查询资料,最终找到了关于mysql中的数据类型 int(11)的介绍在SQL语句中int代表你要创建字段的类型,int代表整型,11代…

[转载]mysql中实现行号，oracle中的rowid

mysql中实现行号需要用到MYSQL的变量,因为MySql木有rownumber. MYSQL中变量定义可以用 set @var=0 或 set @var:=0 可以用=或:=都可以,但是如果变量用在其他语句中,如:select那么必须用:=,因为=会被当作一个比较符号 1 select @rownum:=@rownum+1 as rownum, b.* from (select @rownum:=0) a, b 这个很有用哦,比如要取到排名好多的.…

简单的firebird插入速度测试

Firebird3.0 插入1万条Guid,不带事务:5500ms 插入1万条Guid,带事务:2300ms mssql2008 插入1万条Guid,不带事务:1400ms 插入1万条Guid,带事务:800ms 数据库都安装在本机,调用端为c# framewrok4,mssql插入速度约是Firebird3的3倍. mssql和firebird都支持中文字段,这太好了.在Firebird如果用英文命名表和字段,最好全部大写,否则识别不了. c#前台连接时要加字符集: string cn1 =…

mysql中百万级别分页查询性能优化

前提条件: 1.表的唯一索引 2.百万级数据 SQL语句: select c.* FROM ( SELECT a.logid FROM tableA a where 1 = 1 <#if phone?exists&& phone!=""> AND a.phone like "%":phone"%" </#if> ORDER BY a.create_time DESC limit :startIndex,:m…

MySql中的有条件插入 insert where

假设现在我们有这样的需求:当数据库中不存在满足条件的记录时,可以插入一条记录,否则程序退出.该怎么实现? 1年以上工作经验的人应该都能立即想到:去检查一下库里有没有记录,没有就插入,有就结束. int count = selectFromDb(); // ① if count > 0 { return; } else { insertIntoDb(); // ② } 2年以上工作经验的在写完上面的逻辑后会立即发现:在并发场景下这样并不安全.如果两个线程同时执行到①这里,都会发现数据库没有记录,于…

MySQL中的多表插入更新与MS-SQL的对比

MySQL多表插入: INSERT INTO tdb_goods_cates (cate_name) SELECT goods_cate FROM tdb_goods GROUP BY goods_cate; --INSERT INTO 表名 (列名)查询对应的列 MS SQL 多表插入: 与MySQL 的一样 MySQL的多表关联更新 UPDATE dtb_goods INNER JOIN tdb_goods_cates ON goods_cate = cate_name SET goods_…

mysql中如何不重复插入,mysql 重复的不插入,mysql唯一的插入

INSERT INTO new_schedules_spider_shipsname ( ID,SCAC,VESSEL,VOYAGE,SERVICE_NAME,MD5 ) SELECT NULL,%s,%s,%s,%s,%s FROM DUAL WHERENOT EXISTS ( SELECT * FROM new_schedules_spider_shipsname s WHERE s.MD5 = %s and s.STATE =0 )…

关于insert /+ append/ 各种insert插入速度比较

来源于:http://www.cnblogs.com/rootq/archive/2009/02/11/1388043.html SQL> select count(*) from t;COUNT(*)----------5442048****************************SQL> alter table t1 nologging;SQL> insert /*+append*/ into t12 select * from t;5442048 rows created.…

mysql中增加某一时间段内的时间数据（包含：时间、年、月、日、第几周、季度）

创建表dim_date: create table `dim_date` ( `year` int (20), `month` int (20), `day` int (20), `week` int (11), `quarter` int (20), `date_id` date ); mysql中创建存储过程createDates 插入每一天的日期(我是从2015-10-01开始后的1000天,大概到2018年) DELIMITER $$ CREATE PROCEDURE `view`.`c…

insert /+APPEND/ 各种insert 插入速度比较

SQL> select count(*) from t;COUNT(*)----------5442048****************************SQL> alter table t1 nologging;SQL> insert /*+append*/ into t12 select * from t;5442048 rows created.Elapsed: 00:00:55.73****************************SQL> create ta…

【MySQL】面试官问我：MySQL如何实现无数据插入，有数据更新？我是这样回答的！

写在前面马上就是金九银十的跳槽黄金期了,很多读者都开始出去面试了.这不,又一名读者出去面试被面试官问了一个MySQL的问题:向MySQL中插入数据,如何实现MySQL中没有当前id标识的数据时插入数据,有当前id标识的数据时更新数据.其实,这题目一点也不难!! 先来个简单题目正式回答这个面试题时,我们先来看一个简单点的题目:如何实现向MySQL中插入数据时,存在则忽略,不存在就插入?其实,这个简单点的题目与标题的题目有相同的地方:都是MySQL中不存在待插入的数据时,就将待插入的数据插入到M…

mysql中迅速插入百万条测试数据的方法

对比一下,首先是用 mysql 的存储过程弄的: 复制代码代码如下: mysql>delimiter $ mysql>SET AUTOCOMMIT = 0$$ mysql> create procedure test() begin declare i decimal (10) default 0 ; dd:loop INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`,…

如何查找MySQL中查询慢的SQL语句(转载)

转载自https://www.cnblogs.com/qmfsun/p/4844472.html 如何在mysql查找效率慢的SQL语句呢?这可能是困然很多人的一个问题,MySQL通过慢查询日志定位那些执行效率较低的SQL 语句,用--log-slow-queries[=file_name]选项启动时,mysqld 会写一个包含所有执行时间超过long_query_time 秒的SQL语句的日志文件,通过查看这个日志文件定位效率较低的SQL .下面介绍MySQL中如何查询慢的SQL语句一.My…

关于Mysql表InnoDB下插入速度慢的解决方案

最近做了 server_log 日志数据库记录,仅仅插入,由平台来获取数据进行分析的需求. 但是内部反馈插入数据库记录非常耗时,我就很纳闷了,一个insert怎么会 30-50ms 呢?按说应该在 0.5ms 以内的: 经过分析,发现是InnoDB数据库的Row_Format格式问题,改为MyISAM表就可以了,但是InnoDB是支持事务的,一般是推荐InnoDB的,好奇为什么. 而且InnoDB的表,只能选择 COMPACT 和REDUNDANT 两种行格式(RoW_FORMAT). 经过搜索…

mysql千万级数据库插入速度和读取速度的调整记录

一般情况下mysql上百万数据读取和插入更新是没什么问题了,但到了上千万级就会出现很慢,下面我们来看mysql千万级数据库插入速度和读取速度的调整记录吧. 1)提高数据库插入性能中心思想:尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作.这次修改了下面四个配置项: 1)将 innodb_flush_log_at_trx_commit 配置设定为0:按过往经验设定为0,插入速度会有很大提高. 0: 日志缓冲每秒一次地被写到日志文件,并且对日志文件做到磁盘操作的刷新,…

(转载)MYSQL千万级数据量的优化方法积累

转载自:http://blog.sina.com.cn/s/blog_85ead02a0101csci.html MYSQL千万级数据量的优化方法积累 1.分库分表很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从members0到members99,然后根据mid分发记录到这些表中,牛逼的…

【MySQL】MySQL中针对大数据量常用技术_创建索引+缓存配置+分库分表+子查询优化（转载）

原文地址:http://blog.csdn.net/zwan0518/article/details/11972853 目录(?)[-] 一查询优化 1创建索引 2缓存的配置 3slow_query_log分析 4分库分表 5子查询优化二数据转移 21插入数据如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB.对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数据的需求.这个时候NoSQL的出现暂时解决了这一危机.它通过降低数据的安全性,减少对…

在MySQL中快速的插入大量测试数据

很多时候为了测试数据库设计是否恰当,优化SQL语句,需要在表中插入大量的数据,怎么插入大量的数据就是个问题了. 最开始想到的办法就是写一个程序通过一个很大的循环来不停的插入,比如这样: int i = LOOP_COUNT; while(i-->=0){ //insert data here. } 不过我在这么做的时候发现这样插入数据非常的慢,一秒钟插入的数据量还不到100条,于是想到不要一条一条的插入,而是通过 INSERT INTO TABLE VALUES (),(),(),()... 这…