boneCP的连接管理
转载请标明链接:http://www.cnblogs.com/wingsless/p/6349434.html
boneCP连接的实现
boneCP自己实现了标准的java.sql.Connection接口,除了会持有Connection对象之外,还会拥有一些属性用于标记连接的创建时间,空闲时间等。
比较重要的时间概念代码如下:
if (!recreating){
//上次使用时间戳
connectionLastUsedInMs = System.currentTimeMillis();
//上次重置时间戳
connectionLastResetInMs = System.currentTimeMillis();
//连接创建时间
connectionCreationTimeInMs = System.currentTimeMillis();
}
boneCP对连接的管理
MySQL对连接有最大空闲时间的限制,默认是8小时,因此连接池在将连接分配给客户端时,应该保证连接的可用性。
一般会有两种做法:分配时测试和定时测试。
分配时测试:在收到客户端请求时,连接池首先对向数据库发送一条简单的SQL,判断连接是否可用。
定时测试:启动一个测试线程(ConnectionTesterThread),定时每隔一段时间向数据库发送命令,判断连接是否可用。
boneCP采用定时测试的方式保证连接的可用。为了实现该方式,boneCP规定了两个重要的参数:idleConnectionTestPeriodInSeconds(默认4小时)和idleMaxAgeInSeconds(默认1小时),分别表示空闲连接探测周期和连接最大可空闲时间。
默认情况下,boneCP启动的keepalive线程每个1小时会启动一次,用于检查连接是否达到了空闲时间的上限:
代码片段1:
if (connection.isPossiblyBroken() ||
((this.idleMaxAgeInMs > 0) && ( System.currentTimeMillis()-connection.getConnectionLastUsedInMs() > this.idleMaxAgeInMs))){
// kill off this connection - it's broken or it has been idle for too long
closeConnection(connection);
continue;
}
如果一个线程距离上次使用已经过去了1小时以上,则会在这段逻辑中被close掉,然后继续循环扫描其他的连接。
一个连接被close掉之后,boneCP会有其他的线程负责新建连接。因此表现在MySQL客户端上,可以看到每隔1小时,就会关闭一些连接并出现一些新的连接(极端情况下,所有的连接都被关闭,并一次性重建所有连接)。注意新建连接的MySQL分配id和旧连接完全不同。
需要注意的是,在默认情况下,并没有观察到逻辑执行到这里的现象:
代码片段2:
if (this.idleConnectionTestPeriodInMs > 0 && (currentTimeInMs-connection.getConnectionLastUsedInMs() > this.idleConnectionTestPeriodInMs) &&
(currentTimeInMs-connection.getConnectionLastResetInMs() >= this.idleConnectionTestPeriodInMs)) {
// send a keep-alive, close off connection if we fail.
if (!this.pool.isConnectionHandleAlive(connection)){
closeConnection(connection);
continue;
}
// calculate the next time to wake up
tmp = this.idleConnectionTestPeriodInMs;
if (this.idleMaxAgeInMs > 0){ // wake up earlier for the idleMaxAge test?
tmp = Math.min(tmp, this.idleMaxAgeInMs);
}
}
这段逻辑主要判断是否有连接的上一次重置时间距现在超过4小时,如果有,则向MySQL发一个探测命令,并且将连接的最后一次重置时间设为当前时间,如果连接alive,返回true,不对连接进行close操作。
上一段代码也是ConnectionTesterThread的逻辑,推断应该是因为每隔1小时,连接就会被关闭重建一次,因此不会存在满足这段逻辑条件的连接存在。
如果修改默认值,将idleConnectionTestPeriodInSeconds和idleMaxAgeInSeconds的值对调,那么boneCP仍会每隔1小时(即idleConnectionTestPeriodInSeconds时间)定时调度keepalive线程。
此时可以发现上述两段逻辑都会被执行,每次执行的时候,都会首先执行代码片段2中的逻辑,因此每次都会更新ConnectionHandler的最后一次重置时间,但是连接仍然不会生存超过4小时,每4小时,逻辑就会进入代码片段1中,将连接close掉。
jdbc驱动的NonRegistingDriver分析
现在发现系统运行一段时间以后就会出现fullGC,从内存分析上看,大部分内存都被com.mysql.jdbc.NonRegistingDriver占去。通过跟踪jdbc代码发现,当connection建立的时候,jdbc总会将该connection交给NonRegistingDriver,建立一个虚引用,并将该虚引用放在一个ConcurrentHashMap中。
代码片段3:
protected static void trackConnection(Connection newConn) {
ConnectionPhantomReference phantomRef = new ConnectionPhantomReference((ConnectionImpl) newConn, refQueue);
connectionPhantomRefs.put(phantomRef, phantomRef);
}
内存分析中发现很多内存正是被NonRegistingDriver中的ConcurrentHashMap占去,因此可以推断,应该是新建了大量的Connection导致了大量的NonRegistingDriver对象被新建,从而引发了内存问题。
综合上面对boneCP的分析,应该是boneCP定时的将连接close掉再重建导致的,如果在不是很繁忙的系统上,该情况应该会比较严重。
boneCP探测连接可用的方式
在没有设置探测SQL的情况下,boneCP利用jdbc的getMetaData方法,获取connection的元数据,从其Javadoc上看,元数据应该包括了数据库的表,SQL语法,存储过程等等信息:
The metadata includes information about the database's tables, its supported SQL grammar, its stored procedures, the capabilities of this connection, and so on.
经过抓包分析,实际上getMetaData方法向MySQL 发送了一条简单的show tables命令,如果收到response则认为连接是alive的。
转载请标明链接:http://www.cnblogs.com/wingsless/p/6349434.html
boneCP的连接管理的更多相关文章
- 转-HttpClient4.3 连接管理
转 http://www.yeetrack.com/?p=782 2.1.持久连接 两个主机建立连接的过程是很复杂的一个过程,涉及到多个数据包的交换,并且也很耗时间.Http连接需要的三次握手开销很大 ...
- 【转】Oracle RAC 环境下的连接管理
文章转自:http://www.oracle.com/technetwork/cn/articles/database-performance/oracle-rac-connection-mgmt-1 ...
- HTTP(一) 连接管理
・HTTP是如何使用TCP连接的 HTTP传送一条报文时,以流的形式将报文数据内容通过一条打开的TCP连接按序传输. TCP收到数据流之后,由TCP/IP软件将数据流砍成被称作段的小数据块,并将段封装 ...
- 在SSIS 的 64 位版本中不支持 Excel 连接管理器
Microsoft sql server 2008 R2——> SQL SERVER Business Intelligence Development Studio 使用EXCEL数据源或目标 ...
- 连接管理VMware SphereESXi
连接管理VMware SphereESXi 1. 准备 下载VMware-viclient-all-5.5.0-1993072,并按照提示安装 2. 使用VMware Sphere Client链接事 ...
- 一个Socket连接管理池(心跳机制)
一个Socket连接管理池(心跳机制) http://cuisuqiang.iteye.com/blog/1489661
- boost::asio 连接管理11 如何关闭连接
在实际产品运行中,对连接管理有了更新的认识,这里分享一下. shared_ptr管理连接对象的生命周期 shared_ptr的引用计数器决定了连接对象的生命周期.这里我说的连接对象就是在我的前文:ht ...
- Openfire分析之三:ConnectionManager 连接管理(1)
Openfire是怎么实现连接请求的? XMPPServer.start()方法,完成Openfire的启动.但是,XMPPServer.start()方法中,并没有提及如何监听端口,那么Openfi ...
- SOFA 源码分析 — 连接管理器
前言 RPC 框架需要维护客户端和服务端的连接,通常是一个客户端对应多个服务端,而客户端看到的是接口,并不是服务端的地址,服务端地址对于客户端来讲是透明的. 那么,如何实现这样一个 RPC 框架的网络 ...
随机推荐
- 计算机学院大学生程序设计竞赛(2015’12) 1004 Happy Value
#include<cstdio> #include<cstring> #include<cmath> #include<vector> #include ...
- [转] spring事务管理几种方式
前段时间对Spring的事务配置做了比较深入的研究,在此之间对Spring的事务配置虽说也配置过,但是一直没有一个清楚的认识.通过这次的学习发觉Spring的事务配置只要把思路理清,还是比较好掌握的. ...
- Lazy Load, 延迟加载图片的 jQuery 插件 - NeoEase
body { font-family: "Microsoft YaHei UI","Microsoft YaHei",SimSun,"Segoe UI ...
- losbyday Linux下的强大工具之一akw(转),Shell必备
简单使用:awk :对于文件中一行行的独处来执行操作 .awk -F :'{print $1,$4}' :使用‘:’来分割这一行,把这一行的第一第四个域打印出来 . 详细介绍:AWK命令介绍 a ...
- Objective-c学习笔记3
objective-c代码块多并发 1.代码块对象是对C语言中函数的扩展,除了函数中的代码,代码块还包含有变量绑定,代码块有时也被称为闭包 2.代码块包含两种绑定类型,自动绑定使用的是栈空间,托管绑定 ...
- HUST 1376 Random intersection
神题.同学指教.1秒AC...http://blog.csdn.net/jtjy568805874/article/details/50724656 #include<cstdio> #i ...
- 使用STM8SF103 ADC采样电压(转)
源:使用STM8SF103 ADC采样电压 硬件环境: STM8SF103 TSSOP20封装 因为项目需要用到AD采样电池电压,于是便开始了使用STM8S ADC进行采样,也就有了下文. 手册上对S ...
- coreGraphs和动画
http://www.jianshu.com/p/b71c3d450e8e http://blog.csdn.net/volcan1987/article/details/9969455 http:/ ...
- IOS开发-OC学习-常用功能代码片段整理
IOS开发-OC学习-常用功能代码片段整理 IOS开发中会频繁用到一些代码段,用来实现一些固定的功能.比如在文本框中输入完后要让键盘收回,这个需要用一个简单的让文本框失去第一响应者的身份来完成.或者是 ...
- 直流电机驱动PWM频率(转)
源:直流电机驱动PWM频率 1.没有统一的标准,其实PWM的频率和你的电机感抗和你需要的速度响应时间有很大的关系.一般的电机用14K就足够了.当然自需要简单的调速可以随便选. 如果电机转速比较高,感抗 ...