一个简单web系统的接口性能分析及调优过程

在测试一个简单系统接口性能压力时，压到一定数量，程序总是崩溃，查看相关机器相关数据时，CPU、内存、IO占用均不高，问题自然出现在其它地方
先介绍下系统部件架构

Resin版本为:
[root@localhost lib]# java -classpath ./resin.jar com.caucho.Version
Resin-3.2.1 (built Fri, 17 Oct 2008 04:11:01 PDT)
Copyright(c) 1998-2008 Caucho Technology. All rights reserved

mysql版本为：
Server version: 5.5.39

在跑接口压力时，当TPS达到100时，程序当报错提示为resin重启了

[-- ::] JDK detected deadlock. Restarting Resin.
[::17.929] {resin-} JDK detected deadlock. Restarting Resin.
[-- ::] "" Id= BLOCKED on com.orient.dbpool.o@2726965a owned by "http--80-32" Id=

问题该怎么解决呢？这里先，说说性能问题瓶颈解决的一个思路：
1、查看是否为服务器硬件瓶颈，这里涉及到CPU、内存、IO读写，我们可以通过vmstat、sar或iostat来观察；通过观察，在本例中问题不存在硬件的瓶颈
2、网络瓶颈，可以通过查看网络利用率来确定，方式很多，这里不介绍；不过如果在局域网内、且这仅仅是一个web服务类型网站，与视频类网站不同，所以本例中也不存在网络的问题
3、linux操作系统瓶颈，linux关于性能方面设计到的内核参数太多，这里可以参数《Linux服务器性能调整》一书，当做参考书使用；本例中，对linux TCP连接释放时间做了调整，但问题依旧；
4、中间件瓶颈，这里指的就是第三方的中间件，比如tomcat、JVM、数据库等等，一般在网络下载后的程序，需要根据服务器实际情部分做调整；在本例中，调整了相关参数后，性能有所提高，但个别接口还有问题；
5、应用的瓶颈，这就需要与开发一起调试，比如业务逻辑、sql的优化、算法等等

本例中，linux内核相关参数调整，网上有更详细的参数，请自行参考：

net.ipv4.tcp_syncookies =
net.ipv4.tcp_tw_reuse =
net.ipv4.tcp_tw_recycle =
net.ipv4.tcp_fin_timeout = 

在本次测试中，相关中单件的调整如下：
1、Resin 处理能务的调整：
Resin目录下conf\resin.xml文件参数调整

<jvm-arg>-server</jvm-arg>
<jvm-arg>-Xmx512m</jvm-arg>
<jvm-arg>-Xms256m </jvm-arg>
<jvm-arg>-Xss256k</jvm-arg>
<memory-free-min>10M</memory-free-min>
<thread-max></thread-max>
<socket-timeout>20s</socket-timeout>
<keepalive-timeout>15s</keepalive-timeout>

具体的调整方式，可以参考JVM的性能调优相关文章，如：http://uule.iteye.com/blog/2114697

2、web数据库连接参数调整
有的程序中参web连接数据的处理能力有做限制，本例中，默认初始处理能力为1，这里做修改

dbInitialCapacity="" （初始化处理能力）
dbMaxCapacity="" （最大处理能力

3、mysql数据库性能处理调整
具体的可参数MySQL数据库性能能调整进行，根据机器内存，CPU情况进行调整，可以参考blog:http://www.educity.cn/shujuku/692462.html
本例中，对最大连接数、连接池做了调整

--max_connections=
--innodb_buffer_pool_size=2500M

4、程序内部问题，比如登陆时达到了最大的文件打开数，等等
这里设计到内部程序这里就不例举了

参考资料：

linux性能调整：http://download.csdn.net/detail/machen_smiling/7736543

mysql性能调整：http://www.educity.cn/shujuku/692462.html

linux性能监控命令：http://os.51cto.com/art/201412/460698_all.htm