一、问题背景

　　接上级要求，某生产数据库需要实施备份；刚好漏洞扫描报告出来，mysql 版本需要升级到5.7.20，于是就未雨绸缪，先写脚本。脚本在mysql旧版本下完全可用（未升级前，mysql 为5.7.18）。升级完后，本着技术人员的一种严谨态度，绝对要sh -x 看看脚本在新环境下有没有出现异常啦~~~

 
二、现象（主要有两个）
　　1、mysqldump只能备份表不能备份库（Z库和S库），刚好测试时用的是S库！（这个强调下面是有用的，观众慢慢欣赏）。开始非常纳闷，两个库才不到100M，mysqldump良久不出结果，总不能仅仅1~2天，生产库上数据量陡增的
　　 2、与此同时，测试人员反馈，项目页面一直转圈登不上（前一天刚升级完数据库，测试过，页面打开没问题）
　　

三、排查及解决

　　1、上头说，可能是因为升级后 tomcat 没有重启，导致应用出问题（ps：数据库跟应用分别在两台不同的机器上），于是就重启 tomcat ~~顺带观察实时日志：tail -f Catalina.out

（1）图一

（2）图二

　　综上，可以发现，挺多preparing的。。。然当时其实看不出有什么异样（毕竟太年轻，囧）

　　2、之后，开发人员拿到数据库账号密码，说S库的某个表，也就是上图的日志表：TB_ICT_SYS_LOG被锁了！这就是为什么mysqldump测试备份S库的时候一直备份不了，如果测试备份Z库的话，结果估计是可以出来的，因为Z库上的表并没有被锁

登陆数据库查线程运行情况，终于有眉目了！！！

（1）图一   （mysqldump不了S库的线程）

（2）图二    （页面登陆不上卡住报错的线程）

　　3、解决：根据查到的进程号， kill 掉数据库锁进程

之后，数据库恢复正常，页面打开没问题

四、结论

　　1、浏览器登陆项目页面，无论登陆是否成功，都有一个第三点 1（2）图二的插入S库日志表的操作

　　2、mysqldump备份数据库会有锁表的问题，可能会和插入操作有冲突（开发人员：业务上并没有其他地方引起锁表操作），所以这次问题的产生好可能是因为在调试脚本的时候引起的。为了不影响业务，建议晚上备份（现在调度已改成凌晨 0 点备份）

　　3、确定Tomcat数据库连接池配置是否准确无误（.../WEB-INF/classes/jdbc.properties），虽然跟本次排错过程无关

这个日志是tomcat最早时候的信息（暂时不知道这里是不是暗藏问题发生的玄机）

记升级mysql后的一次故障的更多相关文章

  1. PHPSTUDY下升级mysql后无法启动

    说来也是搞笑,之前很早就想看Laravel了~其中,之前项目忙,还有就是自己也出了点事故!但是呢,我个人哭过,抱怨过,但是我还是很懂我自己的.也许没心没肺也是一种好事,但也是坏事~ 闲话说多了,来说正 ...

  2. centos下升级mysql后遇到的小问题

    记录今天遇到的一个小问题, 写一个app访问接口涉及到通过存储过程反馈多个结果集,但是反回多个结果集的存储过程,调用之后只能反回一个了,而且奇怪的是,即使直接在mysql上同时执行两条查询语句,第一条 ...

  3. Mysql 升级重装后连接出错 Table \'performance_schema.session_variables\' doesn\'t exist

    升级重装后  连接出错 报这个错误 Table 'performance_schema.session_variables' doesn't exist   使用这个命令即可 [root@localh ...

  4. centos升级mysql至5.7

    1.备份原数据库 [root@www ~] #mysqldump -u root –p -E –all-database > /home/db-backup.sql 加-E是因为mysqldum ...

  5. centOS 6.5下升级mysql，从5.1升级到5.7

    1.备份数据库,升级MySQL通常不会丢失数据,但保险起见,我们需要做这一步.输入命令: mysqldump -u xxx -h xxx -P 3306 -p --all-databases > ...

  6. CentOS6.x升级MySQL版本5.1到5.6

    CentOS6.x升级MySQL版本5.1到5.6 分类: Web MySQL 2014-08-04 11:22 2813人阅读 评论(1) 收藏 举报 mysql云服务器升级centos6 有一些虚 ...

  7. phpstudy升级mysql数据库

    因为MySQL支持全文索引的只有5.6以上,而我下的phpstudy只有5.5的版本,在导入数据库的时候因为该数据库的表内有使用全文索引,因此必须升级phpstudy的mysql版本,这里就把自己当升 ...

  8. ubuntu14.04 升级mysql到5.7版本

    Ubuntu14.04默认安装的是mysql5.5,由于开发需要支持utf8mb4,因此需要升级到mysql5.7 默认情况下,apt是无法直接升级到mysql5.7的,因此需要额外设置 首先,备份数 ...

  9. 59.phpstudy升级Mysql的正确姿势

    phpstudy升级Mysql的正确姿势 phpstudy很糟心,不能选择mysql的版本,所以就强制升级. 下载mysql 首先要到官网上去下载你想要的mysql版本. 下载网址:Mysql官网地址 ...

随机推荐

  1. create-trigger-insert-pwd

    delimiter | drop trigger if exists default_insert_Pwd; create trigger default_insert_Pwd before inse ...

  2. pro-select-like

    DELIMITER | drop procedure if exists pro_query; CREATE PROCEDURE pro_query ( cname VARCHAR() ) BEGIN ...

  3. php 汉字验证码

    代码: captcha.php <?php //实现简单的验证码 //session_start session_start(); //画布 $image = imagecreatetrueco ...

  4. 转！！java序列化

    1.序列化是干什么的?       简单说就是为了保存在内存中的各种对象的状态(也就是实例变量,不是方法),并且可以把保存的对象状态再读出来.虽然你可以用你自己的各种各样的方法来保存object st ...

  5. python多线程锁lock/Rlock/BoundedSemaphore/Condition/Event

    import time import threading lock = threading.RLock() n = 10 def task(arg): # 加锁,此区域的代码同一时刻只能有一个线程执行 ...

  6. 查找至少连续出现三次的所有数字/连续3天的日期【LeetCode】

    编写一个SQL查询,查找至少连续出现三次的所有数字.+----+-----+ | Id | Num | +----+-----+ | 1 | 1 | | 2 | 1 | | 3 | 1 | | 4 | ...

  7. （4.6）sql2008中的group by grouping sets

    最近遇到一个情况,需要在内网系统中出一个统计报表.需要根据不同条件使用多个group by语句.需要将所有聚合的数据进行UNION操作来完成不同维度的统计查看. 直到发现在SQL SERVER 200 ...

  8. 部署 jdk

    首先安装jdk jdk提供java环境变量 jvm虚拟机 为什么同一份java程序可以在不同系统上跑? 就是因为jdk jvm虚拟机使java支持 跨平台服务器部署 首先jvm 去读取java代码   ...

  9. mongo distinct 指定条件

    db.Article.distinct("字段名称",{"Comment.Reply.email" : "xxx"})

  10. HDFS各个进程存储在磁盘上的数据含义和注意事项

    本文地址:http://www.cnblogs.com/qiaoyihang/p/6293402.html (一)Namenode的目录结构 HDFS进行初次格式化之后将会在$dfs.namenode ...