有个应用就是每次都会去查一个接口,接口返回用户的信息数据,从而展现不同的页面效果。大致流程如下

应用APP(电信)-> memcache ->电信custom接口 ->master-db

应用APP(网通)-> 网通custom接口 -> slave-db

接口环境是php(cgi) + nginx,接口已经运行很久,未出过异常

应用访问custom接口,然后接口去查数据库(数据库是主从复制,数据同步,各自机房读各自的数据库,写的话都写master-db)

有一点,就是电信机房是有memcache层的,而网通机房一直没有(考虑到网通机房流量不高,并且机房cache不同步,从上线起就网通机房一直未使用cache)

有一次上线,这个上线的版本有个改动就是把电信机房的memcache也取消了,然后 电信机房流量暴增

看pv统计:

$ “find /path -name ‘access*’|xargs wc -l|awk ‘END{print$1}’” fe

cmd :find /path ‘access*’|xargs wc -l|awk ‘END{print }’

type:fe

server1

2倍A total(28号是Atotal)

———–

server2

2B(28号是B total)

———–

server3

C 总计

———–

server4

D total

….

other servers ….

网通机房流量一直比较稳定左右,从未出任何问题

就是昨天电信custom接口流量暴增后,出现了异常,电信机房机器负载涨了40多倍,QPS涨了15倍,直到凌晨0:24分才降到1以下

应用也报了短暂的超时警报,不过php和nginx运行还是比较蛋定,重启依然非常快,终端也没有出现很卡的情况

流量是前一天的9倍!

异常就是error.log在上线后飙到3个G!!!

而且错误全都是Can’t connect to MySQL server on ’1.1.1.1′ (99)

即便在命令行下用mysql -hx.x.x.x -u -p

也间歇性地连接不上,但是据dba描述,数据库监控无任何异常,数据库上其他部门的应用也无异常

不知是否机器负载过高导致大量time wait,导致mysql连接超时或连接不上

以下是晚上0点13分的监控:

TIME_WAIT 涨了300倍(不知是否和他有关)

ESTABLISHED 涨了10倍

按理说,custom的网通接口流量非常稳定,从未出现过异常,电信机房接口飙了2倍就抗不住了,load直线上升,

为了排除cache引起的流量导致接口异常,22:30左右重新上了2个文件,把电信机房的memcache重新开启,

开启后慢慢load是降了,但是mysql错误依旧只是没那么多了

现在去机器上看,还是大量错误,提取日志如下

FastCGI sent in stderr: “PHPWarning:  mysql_connect()Can’t connect to MySQL server on ’1.1.1.1′ (99)in XXXXXX on line xxx

后来跟dba不断沟通排查,发现电信机房和网通机房的/etc/sysctl.conf配置有所区别

网通机房多了下面几行

net.ipv4.tcp_syncookies =1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle =1

net.ipv4.tcp_fin_timeout= 5

原因就在这,把配置同步到杭电信机房后,问题就解决了,总结如下:

  1. 问题描述

    • 上线异常导致qps:五倍+,负载:四十倍+,虽然nginx+php表示很淡定没挂,但error.log飙到了3G/天,全是Can’t connect to MySQL server on ‘*.*.*.*’ (99)
    • 解决异常后,error.log日志少了,但TIME_WAIT依旧减不下去,数据库依旧连接是失败
  2. 问题排查
    • Mysql Config ? (no problem)

      • max_connect_errors = 50000 (no problem)
      • max_connections = 1000 (no problem)
      • max_user_connections = 950 (no problem)
    • OS Config ? (problem, 按以下修改问题就解决了)
      • vi /etc/sysctl.conf

        // 编辑

        net.ipv4.tcp_syncookies = 1

        net.ipv4.tcp_tw_reuse = 1

        net.ipv4.tcp_tw_recycle = 1

        net.ipv4.tcp_fin_timeout = 5

        // 让参数生效

        /sbin/sysctl -p

  3. 问题原因
    • 报错”Can’t connect to MySQL server on ‘*.*.*.*’ (99) ” 参考MySQL Client端错误代码说明:错误代码为99,99的含义:$perror 99 OS error code  99:  Cannot assign requested address 这是一个本地OS的抛错,表示无法分配本地地址资源(应该是端口),socket无法创建
    • Google一下” Cannot assign requested address”,多半是由于客户端请求过于频繁,而Server端练级关闭后本地暂时处于TIME_WAIT,所以暂时端口都不可用导致。因此修改下OS参数就ok了
  4. 问题反思
    • 这个问题非常紧急么?紧急!

      • 参考文章《nginx+php产生大量TIME_WAIT》:http://leven.blog.51cto.com/1675811/382097,遇到这样的问题,我们应该第一时间想到端口不可用,首先会导致nginx连不上php-cgi导致服务不可用,其次才是php-cgi连不上mysql,因此非常重要!
    • 为什么mysql不使用长连接pconnection呢?
      • pconnection mysql占用大量资源,并且在大并发情况下,例如个性化,活动促销等,连接过多导致无数的连接失败error,并牵制apache(nginx)ThreadsPerChild的参数
    • 高并发下的最佳实践?
      • apache短连接,nginx短连接,mysql短连接,虽然TIME_WAIT多了,但可通过修改OS内核加速TIME_WAIT的复用,经验之谈啊!

转自 http://www.searchtb.com/2012/05/mysql_time_wait.html

关于流量升高导致TIME_WAIT增加,MySQL连接大量失败的问题的更多相关文章

  1. 记一次网络原因导致的mysql连接中断问题(druid)

    date: 2018-04-19 21:00 tag: java,mysql,exception,mat,调试,jvm 工具: gceasy.io, MAT 线上系统出现一个诡异的bug,通过heap ...

  2. mysql增加远程连接用户及查看数据库表结构

    一.增加远程连接用户 1.用root权限登录数据库  2.加用户:grant all privileges on *.* to '111'@'192.168.1.%' identified by '2 ...

  3. mysql连接卡死,很多线程sleep状态,导致CPU中mysqld占用率极高

    关闭所有 .................................. .连接: ##把全部的MySQL连接kill掉for i in $(mysql -uroot -p123456 -Bse ...

  4. mysql连接的一些问题。

    最近网站出现 User 数据库名称 has already more than 'max_user_connections' active connections 的报错,网站瘫痪.有必要研究下这个问 ...

  5. Mysql连接数过多、Mysql连接错误过多的问题处理

    在使用Mysql的过程中,你总是会遇到这样那样的问题,每次去网上查找也相对比较麻烦,所以在此整理一下(以linux ubantu16 系统为例). ========================== ...

  6. MySQL连接问题【如何解决MySQL连接超时关闭】

    --MySQL连接问题[如何解决MySQL连接超时关闭] ------------------------------------------------转载 最近做网站有一个站要用到WEB网页采集器 ...

  7. close_wait状态和time_wait状态(TCP连接)

    1.CLOSE_WAIT的简单解决方案 不久前,我的Socket Client程序遇到了一个非常尴尬的错误.它本来应该在一个socket长连接上持续不断地向服务器发送数据,如果socket连接断开,那 ...

  8. mysql连接池不能回避的wait timeout问题(转)

    起因 我们的项目组一直在使用albianj作为开发框架在开发应用.使用至今倒也是没有出现很大的问题,但最近加过监控的接口基本上都会在使用一段时间后,突然之间执行数据库操作变得很慢.虽然会变慢,但持续的 ...

  9. workerman如何写mysql连接池

    首先要了解为什么用连接池,连接池能为你解决什么问题 连接池主要的作用1.减少与数据服务器建立TCP连接三次握手及连接关闭四次挥手的开销,从而降低客户端和mysql服务端的负载,缩短请求响应时间2.减少 ...

随机推荐

  1. Android 环境搭建与Android SDK目录介绍

    Android SDK下载和安装 本地已有合适版本Android SDK,则无需再下载,或者可以使用SDK Manager更新SDK: 没有SDK,则需要下载. 这里说一下使用SDK Manager下 ...

  2. c# double 类型保留几位小数

    C 或 c :货币 D 或 d:十进制数 E 或 e:科学记数法(指数) F 或 f:定点 G 或 g:常规 N 或 n:数字 P 或 p:百分比 double.ToString("Nx & ...

  3. Codeforces Beta Round #42 (Div. 2)

    Codeforces Beta Round #42 (Div. 2) http://codeforces.com/contest/43 A #include<bits/stdc++.h> ...

  4. vue项目引入FastClick组件解决IOS系统下h5页面中的按钮点击延迟,连续点击无反应的问题

    异常描述: ios系统手机中访问h5页面,按钮点击有延迟,连续点击卡顿.无反应. 异常原因: 这要追溯至 2007 年初.苹果公司在发布首款 iPhone 前夕,遇到一个问题:当时的网站都是为大屏幕设 ...

  5. 关于viewport我自己的理解

    其实即使不在html中添加meta viewport标签,每个移动端浏览器都会有一个默认的viewport,只是这个viewport的宽度是980,然后做1:3或者1:2的自动缩放.所以当不在html ...

  6. Specified key was too long; max key length is 767 bytes

    MySQL) )); Database changed ERROR (): Specified bytes drop table if exists test; ) primary key)chars ...

  7. 快速排序中BUG int 与 int *

    #include <iostream>using namespace std;int QKPass(int* , int , int);  //若声明为 int QKPass(int, i ...

  8. DialogActivity

    <?xml version="1.0" encoding="utf-8"?> <resources> <style name=&q ...

  9. docker-ce-17.09 容器创建,运行,进入,删除,导入/导出

    docker容器是镜像运行的一个运行实例,带有额外的可写文件层. 一.创建容器 > docker create -it centos:latest create命令新建的容器处于停止状态,可以使 ...

  10. win下svn常用操作笔记

    svn基本命令 checkout 检出 把服务器代码下载到本地一份update 更新 把服务器上的最新代码更新到本地commit 提交 把本地代码提交到服务器上 win下svn的客户端工具Tortoi ...