(转载)http://www.111cn.net/database/mysql/42453.htm 100W的数据对于很多朋友来说算小菜了,但今天我就想到创建一个大量数据的测试环境,于是找了一下怎么插入100W条数据,我用的是20个字段.对比一下,首先是用 mysql 的存储过程弄的: mysql>delimiter $ mysql$$ mysql> create procedure test() begin ) ; dd:loop INSERT INTO `million` (`categ_

系列文章 四.S 锁与 X 锁的爱恨情仇<死磕MySQL系列 四> 五.如何选择普通索引和唯一索引<死磕MySQL系列 五> 六.五分钟,让你明白MySQL是怎么选择索引<死磕MySQL系列 六> 七.字符串可以这样加索引,你知吗?<死磕MySQL系列 七> 项目中将MySQL的报错.异常.执行时间长的都打到了钉钉群中,这样有利于平时及时处理.今天要聊的是无法复现的慢查询. 一.为什会出现无法复现的"慢"SQL 在一生挚友redo log

问题背景描述: 在MySQL中执行SQL语句,比如insert,贼慢,明明可能也就只是一行数据的插入,数据量很小,但是耗费的时间却很多,为什么? 一.存储结构分析 MySQL存储结构图: 解析: 1.读操作:内存读-->cache缓存读-->磁盘物理读 读取到的数据会按上述顺序往回送. 2.写操作:内存数据直接写入cache缓存(非常快)-->写入disk 由上可知,MySQL之所以读写速度快,cache在其中起到了关键作用. 1.Cache缓存特点: 1.速度快 2.掉电数据丢失 3.

1) innodb_buffer_pool_size 如果用Innodb,那么这是一个重要变量.相对于MyISAM来说,Innodb对于buffer size更敏感.MySIAM可能对于大数据量使用默认的key_buffer_size也还好,但Innodb在大数据量时用默认值就感觉在爬了. Innodb的缓冲池会缓存数据和索引,所以不需要给系统的缓存留空间,如果只用Innodb,可以把这个值设为内存的70%-80%.和 key_buffer相同,如果数据量比较小也不怎么增加,那么不要把这个值设太

1) innodb_buffer_pool_size 如果用Innodb,那么这是一个重要变量.相对于MyISAM来说,Innodb对于buffer size更敏感.MySIAM可能对于大数据量使用默认的key_buffer_size也还好,但Innodb在大数据量时用默认值就感觉在爬了. Innodb的缓冲池会缓存数据和索引,所以不需要给系统的缓存留空间,如果只用Innodb,可以把这个值设为内存的70%-80%.和 key_buffer相同,如果数据量比较小也不怎么增加,那么不要把这个值设太

前段时间搞优化,最后瓶颈发现都在数据库单点上. 问DBA,给我的写入答案是在1W(机械硬盘)左右. 联想起前几天infoQ上一篇文章说他们最好的硬件写入速度在2W后也无法提高(SSD硬盘) 但这东西感觉从来没证实过,故一时兴起,弄台虚拟机压测起来.   想搞清下面的问题:   1,mysql支撑多少连接数? 2,写入瓶颈到底是多少? 3,求QPS   畅想:  足够的CPU, load>远小于核数*2 足够的内存, 基本只用到物理内存 瓶颈在硬盘,写入速度应该能到90-100M/S(机械硬盘,7

前些天看到一篇文章说到PHP的瓶颈很多情况下不在PHP自身,而在于数据库.我们都知道,PHP开发中,数据的增删改查是核心.为了提升PHP的运行效率,程序员不光需要写出逻辑清晰,效率很高的代码,还要能对query语句进行优化.虽然我们对数据库的读取写入速度上却是无能为力,但在一些数据库类扩展像memcache.mongodb.redis这样的数据存储服务器的帮助下,PHP也能达到更快的存取速度,所以了解学习这些扩展也是非常必要,这一篇先说一下MySQL常见的优化策略. 几条MySQL小技巧 1.S

建议参数: max_connections=800 key_buffer_size=512M query_cache_size=128M sort_buffer_size=64M table_open_cache=512 sort_buffer_size = 2M read_buffer_size = 2M read_rnd_buffer_size = 8M myisam_sort_buffer_size = 64M innodb_buffer_pool_size=10G innodb_flus

前面有两篇文章详细介绍了mysql优化举措:Mysql优化系列(0)--总结性梳理Mysql优化系列(1)--Innodb引擎下mysql自身配置优化 下面分类罗列下Mysql性能优化的一些技巧,熟练掌握这些设置,将有利于Mysql性能提升: MySQL服务器硬件和操作系统优化调节1)拥有足够的物理内存来把整个InnoDB文件加载到内存中--在内存中访问文件时的速度要比在硬盘中访问时快的多.2)不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读取的,它的速度很慢.3)使用电池供电的RAM

介绍: InnoDB给MySQL提供了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎.InnoDB锁定在行级并且也在SELECT语句提供一个Oracle风格一致的非锁定读.这些特色增加了多用户部署和性能.没有在InnoDB中扩大锁定的需要,因为在InnoDB中行级锁定适合非常小的空间.InnoDB也支持FOREIGN KEY强制.在SQL查询中,你可以自由地将InnoDB类型的表与其它MySQL的表的类型混合起来,甚至在同一个查询中也可以混合.Innodb 的创始人:Heikki

一.查询语句的生命周期 1.MYSQL服务器监听3306端口 2.验证访问用户 3.创建MySQL线程 4.检查内存(Qcache),当查询命中缓存,MYSQL立刻返回结果,跳过解析.优化.执行阶段.若没有缓存,则继续以下步骤: 5.解析SQL 6.生成查询计划 7.打开表 8.检查内存(Buffer Pool) 9.到磁盘取数据 10.写入内存 11.返回数据给客户端 12.关闭表 13.关闭线程 14.关闭连接 二.MYSQL架构 三.MYSQL连接数 MYSQL默认最大连接数是100,在大

mysql主从复制 3个线程完成复制:主库1个线程负责记录数据库变更日志从库1个线程负责拉取主库的变更日志从库1个线程负责执行主库的变更日志实现了获取事件和重放事件的解耦,允许异步进行.复制的瓶颈:主库并行(多线程)写入和从库串行(单线程)写入,会造成主从延迟. MySQL主从延时延时问题如何处理?1.偶发性延时:控制写入速度,削峰填谷.2.频发性延时:拆分数据库实现多点写入最后一招:从库磁盘硬件升级为ssd. mysql慢查询日志 慢查询日志中记录的是执行时间较长的query,也就是我们常说的

paip.mysql  性能测试 报告 home right 作者Attilax  艾龙,  EMAIL:1466519819@qq.com  来源:attilax的专栏 地址:http://blog.csdn.net/attilax 环境:xpsp3   ,mysql5.6.12 硬盘信息: 序列号 :      WD-WMAV29469153 容量 :             160.0 gB (149.0 GB) 缓存大小 :         8192 KB 大的文件速度 8192 KB

1.简单介绍InnoDB给MySQL提供了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎.InnoDB锁定在行级并且也在SELECT语句提供一个Oracle风格一致的非锁定读.这些特色增加了多用户部署和性能.没有在InnoDB中扩大锁定的需要,因为在InnoDB中行级锁定适合非常小的空间.InnoDB也支持FOREIGN KEY强制.在SQL查询中,你可以自由地将InnoDB类型的表与其它MySQL的表的类型混合起来,甚至在同一个查询中也可以混合. 2.之所以选用innodb作为

MySQL与MongoDB都是开源的常用数据库,但是MySQL是传统的关系型数据库,MongoDB则是非关系型数据库,也叫文档型数据库,是一种NoSQL的数据库.它们各有各的优点,关键是看用在什么地方.所以我们所熟知的那些SQL(全称Structured Query Language)语句就不适用于MongoDB了,因为SQL语句是关系型数据库的标准语言.     以我们公司项目为例,在早期的项目中,都在使用关系型数据库,用过SQLServer,Oracle,DB2,后来全部转向Mysql,原因

在目前的Mysql数据库中,使用最广泛的是innodb存储引擎.innodb确实是个很不错的存储引擎,就连高性能Mysql里都说了,如果不是有什么很特别的要求,innodb就是最好的选择.当然,这偏文章讲的是TokuDB,不是innodb,相比innodb,TokuDB有着自己的特点. BTree和Fractal tree的比较: 目前无论是SQL Server,还是MySQL的innodb,都是用的B+Tree(SQL Server用的是标准的B-Tree)的索引结构.从理论上来说,这个结构在

preface 近来公司利润上升,购买了10几台服务器,趁此机会,把mysql的主从同步的架构进一步扩展,为了适应日益增长的流量.针对mysql架构的扩展,先是咨询前辈,后和同事探讨,准备采用Mysql+heartbeat+drbd+lvs的方案. Mysql+heartbeat+drbd+lvs是一套成熟的集群解决方案在现在多数企业里面,通过heartbeat+DRBD完成Mysql的主节点写操作的高可用性,通过Mysql+lvs实现Mysql数据库的主从复制和Mysql读写的负载均衡.这个方

MySQL Cluster 配置文件(config.ini)详解 ########################################################################### ## MySQL CLuster 配置文件 ## 带有[!]的注释表示该参数有详细说明,建议参考官方描述. ## 带有[!!]的注释表示设置该参数时应该详细阅读官方描述. ## SCI 连接方式的配置请详细阅读官方描述. ## 官方说明: http://dev.mysql.com/

一.MySQL支持插件式存储引擎,默认包括有多种存储引擎,还可以自己定制化引擎,引擎是在表级别设置的. 二.各种存储引擎的特性 (A) MyISAM :不支持事务.不支持外键.访问速度快. 每个MyISAM表在磁盘上存储成3个文件,文件名与表名相同,扩展名是: (A1) frm (存储表定义) (A2) MYD (MYData, 存储数据) (A3) MYI (MYIndex, 存储索引) 数据文件和索引文件可以放置在不同的目录,平均分布IO,获得更快的速度.可以在创建表的时候,指定该表的 DA

<?php /* 郑重说明2015年6月11日16:28:14,目前为止MySQL Cluster 社区版不支持INNODB,商业版支持,但是授权价格20W左右,so看此文档之前,考虑下钱 MyISAM支持,至于触发器,存储过程,社区版是否支持,木有验证 MySQL簇的基本概念 NDB是一种“内存中”存储引擎,它具有可用性高和数据一致性好的特点. 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但以簇层面上的存储引擎开始最简单.MySQL簇的NDB存储引擎包含完整的数据集,仅取决于 簇本身

innodb存储引擎1.存储:数据目录.有配置参数为“ innodb_data_home_dir ” .“ innodb_data_file_path ” 和 “innodb_log_group_home_dir”这三个目录位置指定参数决定存储目录,以及参数“innodb_file_per_table”决定Innodb 的表空间存储方式 存储文件:frm,ibd结尾的文件.frm存储表结构,ibd存储索引和数据 存储日志:ib_logfilen文件 2.innodb存储引擎开启或关闭: 关闭in