产线事故：删除创建mysql索引
单表数据量：670W；
删除一个老的索引，新建一个新的索引。
事故原因：
先删除索引，应用访问量大，没有索引自然慢，数据库CPU飚到100%；新索引创建失败。
直接造成交易打烊。
日志：
------[2019-03-26 19:39:48]------
检查Threads_running(运行中的线程数量)，它在一定程度上代表了当前数据库的负荷。
[Threads_running : 28 ] 正常。 ------[2019-03-26 19:39:48]------
set lock_wait_timeout=10 ------[2019-03-26 19:39:48]------
开始执行SQL... ------[2019-03-26 19:39:59]------
Lock wait timeout exceeded; try restarting transaction ------[2019-03-26 19:39:59]------
重试执行第1次... ------[2019-03-26 19:39:59]------
检查Threads_running(运行中的线程数量)，它在一定程度上代表了当前数据库的负荷。 ------[2019-03-26 19:39:59]------
[Threads_running : 142 ]当前数据库繁忙。暂停5S后将执行第1次重试，请等待... ------[2019-03-26 19:40:04]------
开始重试检查Threads_running。 ------[2019-03-26 19:40:04]------
[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第2次重试，请等待... ------[2019-03-26 19:40:09]------
开始重试检查Threads_running。 ------[2019-03-26 19:40:09]------
[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第3次重试，请等待... ------[2019-03-26 19:40:14]------
开始重试检查Threads_running。 ------[2019-03-26 19:40:14]------
[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第4次重试，请等待... ------[2019-03-26 19:40:19]------
开始重试检查Threads_running。 ------[2019-03-26 19:40:19]------
[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第5次重试，请等待... ------[2019-03-26 19:40:24]------
开始重试检查Threads_running。 ------[2019-03-26 19:40:24]------
[Threads_running : 143 ] 当前数据库繁忙！任务取消执行，请稍后数据库空闲后重试！
处理方案：
下线应用，kill掉CPU链接，等CPU降下来手工创建索引。启动应用，正常。
经验教训：
1、加强DDL语句审核
2、先建索引，再删索引，顺序一定要对，尤其产线。
产线事故：删除创建mysql索引的更多相关文章
- 创建mysql索引的方式
创建索引方式: 1.create index 索引名 on 表名 (字段) 2.alter table 表 add index 索引名 (字段) -- 普通索引 alter table 表名 ...
- MySQL索引，如何正确创建MySQL索引？
索引可以提高数据的检索效率,也可以降低数据库的IO成本,并且索引还可以降低数据库的排序成本.排序分组操作主要消耗的就是CPU资源和内存,所以能够在排序分组操作中好好的利用索引将会极大地降低CPU资源的 ...
- mysql索引总结(1)-mysql 索引类型以及创建
mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...
- mysql索引总结(4)-MySQL索引失效的几种情况
mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...
- mysql索引总结(3)-MySQL聚簇索引和非聚簇索引
mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...
- mysql索引总结(2)-MySQL聚簇索引和非聚簇索引
mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...
- MySql索引要注意的8个事情
设计好MySql索引可以让你的数据库查询效率大为提高.设计MySql索引的时候,有一些问题需要值得我们注意的: 1,创建MySql索引 对于查询占主要的应用来说,索引显得尤为重要.很多时候性能问题很简 ...
- MySQL索引的创建、删除和查看
MySQL索引的创建.删除和查看 此文转自http://blogold.chinaunix.net/u3/93470/showart_2001536.html 1．索引作用 在索引列上,除了上面提到的 ...
- MySQL索引的创建，查看，删除
在执行CREATE TABLE语句时可以创建索引,也可以单独用CREATE INDEX或ALTER TABLE来为表增加索引. 1．ALTER TABLE ALTER TABLE用来创建普通索引.UN ...
随机推荐
- Spring课程 Spring入门篇 5-4 advice应用（上）
1 解析 1.1 通知执行顺序 2 代码演练 1 解析 1.1 通知执行顺序 aop执行方式为:前置通知==>所要增强的方法==>后置通知==>最终通知 在出现异常时会进行:前置通知 ...
- H5前端的关于像素解释
场景: 人物:前端实习生「阿树」与 切图工程师「玉凤」 事件:设计师出设计稿,前端实现页面 玉凤:树,设计稿发给你啦,差那么点像素,就叼死你┏( ￣へ￣)=☞ 阿树:~(>_<)~毛问题噶 ...
- webapi 开启gzip压缩
1.nuget安装Microsoft.AspNet.WebApi.Extensions.Compression.Server 2.global.asax.cs里引用System.Net.Http.Ex ...
- CSS清浮动方法总结
浮动----会使当前标签产生上浮效果,从而导致父标签高度塌陷的问题 1. 给父元素指定高度 <div style="height:200px"> <div sty ...
- css 样式表集合
说到前端不得不说一下css样式 css样式是用来装饰我们的html让整个页面显得更丰富多彩,所以我们要熟悉各种css样式,本人搜集了一下 供大家参考一下 字体属性:(font) 大小 {font-si ...
- Java 使用Log4J进行日志操作
使用Log4J进行日志操作 Log4J简介 Log4J是Apache的一个开放源代码项目,它是一个日志操作包,通过使用Log4J,可以指定日志信息输出的目的地,如控制台.文件.CUI组件.NT ...
- ACM-某大牛的建议
一般要做到50行以内的程序不用调试.100行以内的二分钟内调试成功.acm主要是考算法的,主要时间是花在思考算法上,不是花在写程序与debug上. 下面给个计划你练练: 第一阶段: 练经典 ...
- 使用CoreImage教程
使用CoreImage教程 CoreImage包含有很多实用的滤镜,专业处理图片的库,为了能看到各种渲染效果,请使用如下图片素材. 现在可以开始教程了: #define FIX_IMAGE(image ...
- linux oom-killer
本人从事UTM的开发工作,最近遇到out of memory killer.这里整理一下资料. 简述 当系统内存不足时,系统会触发 oom-killer.oom-killer的机制就是选择杀掉最适合的 ...
- 017random模块
import randomprint(random.random())print(random.randint(1,8)) #包括8 print(random. ...