单表数据量：670W；

删除一个老的索引，新建一个新的索引。

事故原因：

先删除索引，应用访问量大，没有索引自然慢，数据库CPU飚到100%；新索引创建失败。

直接造成交易打烊。

日志：

------[2019-03-26 19:39:48]------

检查Threads_running(运行中的线程数量)，它在一定程度上代表了当前数据库的负荷。

[Threads_running : 28 ] 正常。

------[2019-03-26 19:39:48]------

set lock_wait_timeout=10

------[2019-03-26 19:39:48]------

开始执行SQL...

------[2019-03-26 19:39:59]------

Lock wait timeout exceeded; try restarting transaction

------[2019-03-26 19:39:59]------

重试执行第1次...

------[2019-03-26 19:39:59]------

检查Threads_running(运行中的线程数量)，它在一定程度上代表了当前数据库的负荷。

------[2019-03-26 19:39:59]------

[Threads_running : 142 ]当前数据库繁忙。暂停5S后将执行第1次重试，请等待...

------[2019-03-26 19:40:04]------

开始重试检查Threads_running。

------[2019-03-26 19:40:04]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第2次重试，请等待...

------[2019-03-26 19:40:09]------

开始重试检查Threads_running。

------[2019-03-26 19:40:09]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第3次重试，请等待...

------[2019-03-26 19:40:14]------

开始重试检查Threads_running。

------[2019-03-26 19:40:14]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第4次重试，请等待...

------[2019-03-26 19:40:19]------

开始重试检查Threads_running。

------[2019-03-26 19:40:19]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第5次重试，请等待...

------[2019-03-26 19:40:24]------

开始重试检查Threads_running。

------[2019-03-26 19:40:24]------

[Threads_running : 143 ] 当前数据库繁忙！任务取消执行，请稍后数据库空闲后重试！

处理方案：

下线应用，kill掉CPU链接，等CPU降下来手工创建索引。启动应用，正常。

经验教训：

1、加强DDL语句审核

2、先建索引，再删索引，顺序一定要对，尤其产线。

产线事故：删除创建mysql索引的更多相关文章

  1. 创建mysql索引的方式

    创建索引方式: 1.create index 索引名   on 表名 (字段) 2.alter table 表  add index 索引名  (字段) -- 普通索引 alter table 表名 ...

  2. MySQL索引，如何正确创建MySQL索引？

    索引可以提高数据的检索效率,也可以降低数据库的IO成本,并且索引还可以降低数据库的排序成本.排序分组操作主要消耗的就是CPU资源和内存,所以能够在排序分组操作中好好的利用索引将会极大地降低CPU资源的 ...

  3. mysql索引总结(1)-mysql 索引类型以及创建

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  4. mysql索引总结(4)-MySQL索引失效的几种情况

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  5. mysql索引总结(3)-MySQL聚簇索引和非聚簇索引

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  6. mysql索引总结(2)-MySQL聚簇索引和非聚簇索引

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  7. MySql索引要注意的8个事情

    设计好MySql索引可以让你的数据库查询效率大为提高.设计MySql索引的时候,有一些问题需要值得我们注意的: 1,创建MySql索引 对于查询占主要的应用来说,索引显得尤为重要.很多时候性能问题很简 ...

  8. MySQL索引的创建、删除和查看

    MySQL索引的创建.删除和查看 此文转自http://blogold.chinaunix.net/u3/93470/showart_2001536.html 1．索引作用 在索引列上,除了上面提到的 ...

  9. MySQL索引的创建，查看，删除

    在执行CREATE TABLE语句时可以创建索引,也可以单独用CREATE INDEX或ALTER TABLE来为表增加索引. 1．ALTER TABLE ALTER TABLE用来创建普通索引.UN ...

随机推荐

  1. 使用QQ第三方登录 并在父页面跳转刷新

    <html> <head> <title>QQ登录跳转</title> <script src="http://lib.sinaapp. ...

  2. asp.net 日期转换为大写汉字

    //年份转换为大写汉字 public static string numtoUpper(int num) { return "零壹贰叁肆伍陆柒捌玖"[num].ToString() ...

  3. 一道google的面试题(据说)

    1. 原题(同事给的) Max Howell 参加了谷歌的面试,出题人竟然要求 Max Howell 在白板上作出解答,Max Howell 当然愤怒地拒绝了,回家以后马上在微博上跟我们分享他的吐槽: ...

  4. JS原型学习笔记

    1.原型是函数对象的属性,它的初始值是一个空对象,这个prototype原型对象可以添加方法和属性. 2.构造器对象查找属性和方法时先查找构造器后查找原型. 3.若构造器中的属性和原型中的属性相同,构 ...

  5. javascript图片预加载

    图片预加载是非常常见的一个功能,PC和移动端都会用到,尤其是在移动端,只要涉及到较多图片的加载都会用到该技术.下面是移动端用到的,引入了zepto. <!DOCTYPE html> < ...

  6. MySQL库表详细操作

    昨天我们初始了MySQL,今天我们先从库表方面详细说一下具体操作 一.库操作 1.创建数据库 1.1 语法 CREATE DATABASE 数据库名 charset utf8; 1.2 数据库命名规则 ...

  7. 日常捕获的野生知识 - javascript获取屏幕大小

    刚刚接触JavaScript,涉及到 document , window 的一些基本知识不是很了解,今天为了一个屏幕大小折腾了半天,幸好找到了很好的例子学习. 代码如下: <html> & ...

  8. GPRS网络条件下TCP、UDP的比较

    使用场景:使用GPRS的场合. 名词解释:NAT(Network Address Translation,网络地址转换) 中国移动的GPRS网络是使用的虚拟IP地址,需要通过移动的虚拟地址转换路由器进 ...

  9. 求解2的N次幂的问题（多种方法）

    #include <iostream> using namespace std; //计算2的N次幂 //一般方法,时间复杂度为2^n __int64 pow2(int n) { __in ...

  10. c#编程指南(六) 类索引器（Class Indexer）

    类索引器,可以使得你使用数组一样的方式来访问类的数据. 这种访问多见于数组,列表,词典,哈希表的快捷访问. 实际上写法很简单,写成:public T1 this[T2 i] 代码如下: using S ...