关于流量升高导致TIME_WAIT增加,MySQL连接大量失败的问题
有个应用就是每次都会去查一个接口,接口返回用户的信息数据,从而展现不同的页面效果。大致流程如下
应用APP(电信)-> memcache ->电信custom接口 ->master-db
应用APP(网通)-> 网通custom接口 -> slave-db
接口环境是php(cgi) + nginx,接口已经运行很久,未出过异常
应用访问custom接口,然后接口去查数据库(数据库是主从复制,数据同步,各自机房读各自的数据库,写的话都写master-db)
有一点,就是电信机房是有memcache层的,而网通机房一直没有(考虑到网通机房流量不高,并且机房cache不同步,从上线起就网通机房一直未使用cache)
有一次上线,这个上线的版本有个改动就是把电信机房的memcache也取消了,然后 电信机房流量暴增
看pv统计:
$ “find /path -name ‘access*’|xargs wc -l|awk ‘END{print$1}’” fe
cmd :find /path ‘access*’|xargs wc -l|awk ‘END{print }’
type:fe
server1
2倍A total(28号是Atotal)
———–
server2
2倍B(28号是B total)
———–
server3
C 总计
———–
server4
D total
….
other servers ….
网通机房流量一直比较稳定左右,从未出任何问题
就是昨天电信custom接口流量暴增后,出现了异常,电信机房机器负载涨了40多倍,QPS涨了15倍,直到凌晨0:24分才降到1以下
应用也报了短暂的超时警报,不过php和nginx运行还是比较蛋定,重启依然非常快,终端也没有出现很卡的情况
流量是前一天的9倍!
异常就是error.log在上线后飙到3个G!!!
而且错误全都是Can’t connect to MySQL server on ’1.1.1.1′ (99)
即便在命令行下用mysql -hx.x.x.x -u -p
也间歇性地连接不上,但是据dba描述,数据库监控无任何异常,数据库上其他部门的应用也无异常
不知是否机器负载过高导致大量time wait,导致mysql连接超时或连接不上
以下是晚上0点13分的监控:
TIME_WAIT 涨了300倍(不知是否和他有关)
ESTABLISHED 涨了10倍
按理说,custom的网通接口流量非常稳定,从未出现过异常,电信机房接口飙了2倍就抗不住了,load直线上升,
为了排除cache引起的流量导致接口异常,22:30左右重新上了2个文件,把电信机房的memcache重新开启,
开启后慢慢load是降了,但是mysql错误依旧只是没那么多了
现在去机器上看,还是大量错误,提取日志如下
FastCGI sent in stderr: “PHPWarning: mysql_connect()Can’t connect to MySQL server on ’1.1.1.1′ (99)in XXXXXX on line xxx
后来跟dba不断沟通排查,发现电信机房和网通机房的/etc/sysctl.conf配置有所区别
网通机房多了下面几行
net.ipv4.tcp_syncookies =1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle =1
net.ipv4.tcp_fin_timeout= 5
原因就在这,把配置同步到杭电信机房后,问题就解决了,总结如下:
- 问题描述
- 上线异常导致qps:五倍+,负载:四十倍+,虽然nginx+php表示很淡定没挂,但error.log飙到了3G/天,全是Can’t connect to MySQL server on ‘*.*.*.*’ (99)
- 解决异常后,error.log日志少了,但TIME_WAIT依旧减不下去,数据库依旧连接是失败
- 问题排查
- Mysql Config ? (no problem)
- max_connect_errors = 50000 (no problem)
- max_connections = 1000 (no problem)
- max_user_connections = 950 (no problem)
- OS Config ? (problem, 按以下修改问题就解决了)
- vi /etc/sysctl.conf
// 编辑
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 5
// 让参数生效
/sbin/sysctl -p
- vi /etc/sysctl.conf
- Mysql Config ? (no problem)
- 问题原因
- 报错”Can’t connect to MySQL server on ‘*.*.*.*’ (99) ” 参考MySQL Client端错误代码说明:错误代码为99,99的含义:$perror 99 OS error code 99: Cannot assign requested address 这是一个本地OS的抛错,表示无法分配本地地址资源(应该是端口),socket无法创建
- Google一下” Cannot assign requested address”,多半是由于客户端请求过于频繁,而Server端练级关闭后本地暂时处于TIME_WAIT,所以暂时端口都不可用导致。因此修改下OS参数就ok了
- 问题反思
- 这个问题非常紧急么?紧急!
- 参考文章《nginx+php产生大量TIME_WAIT》:http://leven.blog.51cto.com/1675811/382097,遇到这样的问题,我们应该第一时间想到端口不可用,首先会导致nginx连不上php-cgi导致服务不可用,其次才是php-cgi连不上mysql,因此非常重要!
- 为什么mysql不使用长连接pconnection呢?
- pconnection mysql占用大量资源,并且在大并发情况下,例如个性化,活动促销等,连接过多导致无数的连接失败error,并牵制apache(nginx)ThreadsPerChild的参数
- 高并发下的最佳实践?
- apache短连接,nginx短连接,mysql短连接,虽然TIME_WAIT多了,但可通过修改OS内核加速TIME_WAIT的复用,经验之谈啊!
- 这个问题非常紧急么?紧急!
转自 http://www.searchtb.com/2012/05/mysql_time_wait.html
关于流量升高导致TIME_WAIT增加,MySQL连接大量失败的问题的更多相关文章
- 记一次网络原因导致的mysql连接中断问题(druid)
date: 2018-04-19 21:00 tag: java,mysql,exception,mat,调试,jvm 工具: gceasy.io, MAT 线上系统出现一个诡异的bug,通过heap ...
- mysql增加远程连接用户及查看数据库表结构
一.增加远程连接用户 1.用root权限登录数据库 2.加用户:grant all privileges on *.* to '111'@'192.168.1.%' identified by '2 ...
- mysql连接卡死,很多线程sleep状态,导致CPU中mysqld占用率极高
关闭所有 .................................. .连接: ##把全部的MySQL连接kill掉for i in $(mysql -uroot -p123456 -Bse ...
- mysql连接的一些问题。
最近网站出现 User 数据库名称 has already more than 'max_user_connections' active connections 的报错,网站瘫痪.有必要研究下这个问 ...
- Mysql连接数过多、Mysql连接错误过多的问题处理
在使用Mysql的过程中,你总是会遇到这样那样的问题,每次去网上查找也相对比较麻烦,所以在此整理一下(以linux ubantu16 系统为例). ========================== ...
- MySQL连接问题【如何解决MySQL连接超时关闭】
--MySQL连接问题[如何解决MySQL连接超时关闭] ------------------------------------------------转载 最近做网站有一个站要用到WEB网页采集器 ...
- close_wait状态和time_wait状态(TCP连接)
1.CLOSE_WAIT的简单解决方案 不久前,我的Socket Client程序遇到了一个非常尴尬的错误.它本来应该在一个socket长连接上持续不断地向服务器发送数据,如果socket连接断开,那 ...
- mysql连接池不能回避的wait timeout问题(转)
起因 我们的项目组一直在使用albianj作为开发框架在开发应用.使用至今倒也是没有出现很大的问题,但最近加过监控的接口基本上都会在使用一段时间后,突然之间执行数据库操作变得很慢.虽然会变慢,但持续的 ...
- workerman如何写mysql连接池
首先要了解为什么用连接池,连接池能为你解决什么问题 连接池主要的作用1.减少与数据服务器建立TCP连接三次握手及连接关闭四次挥手的开销,从而降低客户端和mysql服务端的负载,缩短请求响应时间2.减少 ...
随机推荐
- Android 环境搭建与Android SDK目录介绍
Android SDK下载和安装 本地已有合适版本Android SDK,则无需再下载,或者可以使用SDK Manager更新SDK: 没有SDK,则需要下载. 这里说一下使用SDK Manager下 ...
- c# double 类型保留几位小数
C 或 c :货币 D 或 d:十进制数 E 或 e:科学记数法(指数) F 或 f:定点 G 或 g:常规 N 或 n:数字 P 或 p:百分比 double.ToString("Nx & ...
- Codeforces Beta Round #42 (Div. 2)
Codeforces Beta Round #42 (Div. 2) http://codeforces.com/contest/43 A #include<bits/stdc++.h> ...
- vue项目引入FastClick组件解决IOS系统下h5页面中的按钮点击延迟,连续点击无反应的问题
异常描述: ios系统手机中访问h5页面,按钮点击有延迟,连续点击卡顿.无反应. 异常原因: 这要追溯至 2007 年初.苹果公司在发布首款 iPhone 前夕,遇到一个问题:当时的网站都是为大屏幕设 ...
- 关于viewport我自己的理解
其实即使不在html中添加meta viewport标签,每个移动端浏览器都会有一个默认的viewport,只是这个viewport的宽度是980,然后做1:3或者1:2的自动缩放.所以当不在html ...
- Specified key was too long; max key length is 767 bytes
MySQL) )); Database changed ERROR (): Specified bytes drop table if exists test; ) primary key)chars ...
- 快速排序中BUG int 与 int *
#include <iostream>using namespace std;int QKPass(int* , int , int); //若声明为 int QKPass(int, i ...
- DialogActivity
<?xml version="1.0" encoding="utf-8"?> <resources> <style name=&q ...
- docker-ce-17.09 容器创建,运行,进入,删除,导入/导出
docker容器是镜像运行的一个运行实例,带有额外的可写文件层. 一.创建容器 > docker create -it centos:latest create命令新建的容器处于停止状态,可以使 ...
- win下svn常用操作笔记
svn基本命令 checkout 检出 把服务器代码下载到本地一份update 更新 把服务器上的最新代码更新到本地commit 提交 把本地代码提交到服务器上 win下svn的客户端工具Tortoi ...