“你们的agent占了好多系统的port。把我们的非常多业务系统都给整死了,给我们造成了非常大的损失。要求你们的相关领导下周过来道歉”   --   来自我们的一个客户。

 怎么可能呢,我们都不相信,我们的agent仅仅占一个port啊!

事实胜过雄辩。经过查证。确实是因为我们的agent占了好多系统的port。我看了一下日志。基本把系统可用的port占完了!

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hhb2ZhbndlaQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" />

为什么呢?MINA框架私自开的!

因为我们的agent端使用了NIO通信框架MINA,但并没有使用好,造成了这一差点儿毁灭行的灾难。

还是先看代码吧。

/**
* 异步发送消息
* @param agent
* @param request
*/
public void sendMessageToAgent(Agent agent, HyRequest request) {
IoSession session = null;
IoConnector connector=null;
long startTime = System.currentTimeMillis();
try {
// 创建一个非堵塞的客户端程序
connector = new NioSocketConnector();
// 设置链接超时时间
connector.setConnectTimeoutMillis(connectTimeoutMillis); ObjectSerializationCodecFactory objsCodec = new ObjectSerializationCodecFactory();
objsCodec.setDecoderMaxObjectSize(DEFAULTDECODER);
objsCodec.setEncoderMaxObjectSize(DEFAULTDECODER);
ProtocolCodecFilter codecFilter = new ProtocolCodecFilter(
objsCodec);
// 数据转换。编码设置
connector.getFilterChain()
.addLast("codec", codecFilter);
// 消息
connector.setHandler(clientHandler); SocketAddress socketAddress = new InetSocketAddress(
agent.getIpAddr(), agent.getAgentPort());
ConnectFuture future = connector.connect(socketAddress);
future.awaitUninterruptibly();
session = future.getSession();
String json = mapper.writeValueAsString(request);
session.write(json); long endTime = System.currentTimeMillis(); logerr.debug("send-time:" + (endTime - startTime)); } catch (Exception e) {
logerr.error("host:" + agent.getIpAddr() + ", AgentPORT:" + agent.getAgentPort()
+ ", 连接异常..."+e.getMessage());
clientHandler.handlerConnectError(agent, request); }
}
public class MinaClientHandler extends IoHandlerAdapter {
// 日志
private Logger log = Logger.getLogger(getClass()); private MinaResponseProcesser minaResponseProcesser; ObjectMapper mapper=null; @Override
public void messageReceived(IoSession session, Object message)
throws Exception {
String msg = message.toString();
log.info("receive message from " + session.getRemoteAddress().toString() + ",message:" + message);
if(null == mapper){
mapper = new ObjectMapper();
}
//请求消息转换为HyResponse对象
HyResponse response = mapper.readValue(msg, HyResponse.class);
String remoteIp= ((InetSocketAddress)session.getRemoteAddress()).getAddress().getHostAddress();
response.setRemoteIp(remoteIp);
HyRequest request = minaResponseProcesser.processResponse(response);
if(request == null){
//关闭当前session
closeSessionByServer(session,response);
}else{
session.write(mapper.writeValueAsString(request));
}
}
}

上面的逻辑就是,当要发送一个消息时,创建一个新的connector,并获取一个session发送消息后直接返回,在MinaClientHandler类的messageReceived里面处理接受到的响应数据,并进行业务处理。最后假设不须要再次发送请求,则关闭当前session。

事实上出现本文一開始的问题就是在这里造成的。

在出现我们的agent占用大量port后,我们这边的project人员就迅速定位到了这个问题,并非常快修复了。但修复并不理想,但修复过后的代码。

/**
* 异步发送消息
* @param agent
* @param request
*/
public void sendMessageToAgent(Agent agent, HyRequest request) {
IoSession session = null;
IoConnector connector=null;
long startTime = System.currentTimeMillis();
try {
// 创建一个非堵塞的客户端程序
connector = new NioSocketConnector();
// 设置链接超时时间
connector.setConnectTimeoutMillis(connectTimeoutMillis); ObjectSerializationCodecFactory objsCodec = new ObjectSerializationCodecFactory();
objsCodec.setDecoderMaxObjectSize(DEFAULTDECODER);
objsCodec.setEncoderMaxObjectSize(DEFAULTDECODER);
ProtocolCodecFilter codecFilter = new ProtocolCodecFilter(
objsCodec);
// 数据转换,编码设置
connector.getFilterChain()
.addLast("codec", codecFilter);
// 消息
connector.setHandler(clientHandler); SocketAddress socketAddress = new InetSocketAddress(
agent.getIpAddr(), agent.getAgentPort());
ConnectFuture future = connector.connect(socketAddress);
future.awaitUninterruptibly();
session = future.getSession();
String json = mapper.writeValueAsString(request);
session.write(json);
// 等待断开连接
session.getCloseFuture().awaitUninterruptibly();
long endTime = System.currentTimeMillis(); logerr.debug("send-time:" + (endTime - startTime));
//connector.dispose();
} catch (Exception e) {
logerr.error("host:" + agent.getIpAddr() + ", AgentPORT:" + agent.getAgentPort()
+ ", 连接异常..."+e.getMessage());
clientHandler.handlerConnectError(agent, request); }finally{
if(null!=session){
session.close(true);
session=null;
}
if(null !=connector){
connector.dispose();
}
}
}

仅仅改了一个地方。就是在发送完消息后,加了一个等待断开连接语句和finally语句块-关闭session和connector。

尽管不会出现程序占用大量的系统port这个问题。但会造成另外一个问题-当有一个消息队列须要异步调用上面语句发送消息时,有原来的异步(发送完直接返回,相当于高速并发发送)变成伪异步(发送完消息后并等待消息返回处理后返回,相当于顺序处理队列里面的消息)。

上面的改动并非我们想要的结果,但至少修复了占用大量port的问题。

因为怀着想彻底修复这个问题的想法,我想还是深入了解一下MINA源代码吧。

NIO框架之MINA源代码解析(一):背景的更多相关文章

  1. NIO框架之MINA源代码解析(二):mina核心引擎

    NIO框架之MINA源代码解析(一):背景 MINA的底层还是利用了jdk提供了nio功能,mina仅仅是对nio进行封装.包含MINA用的线程池都是jdk直接提供的. MINA的server端主要有 ...

  2. NIO框架之MINA源码解析(五):NIO超级陷阱和使用同步IO与MINA通信

    1.NIO超级陷阱 之所以说NIO超级陷阱,就是因为我在本系列开头的那句话,因为使用缺陷导致客户业务系统瘫痪.当然,我对这个问题进行了很深的追踪,包括对MINA源码的深入了解,但其实之所以会出现这个问 ...

  3. NIO框架之MINA源码解析(四):粘包与断包处理及编码与解码

    1.粘包与段包 粘包:指TCP协议中,发送方发送的若干包数据到接收方接收时粘成一包,从接收缓冲区看,后一包数据的头紧接着前一包数据的尾.造成的可能原因: 发送端需要等缓冲区满才发送出去,造成粘包 接收 ...

  4. NIO框架之MINA源码解析(转)

    http://blog.csdn.net/column/details/nio-mina-source.html http://blog.csdn.net/chaofanwei/article/det ...

  5. (一)Mina源代码解析之总体架构

    Apache Mina Server 是一个网络通信应用框架.也就是说,它主要是对基于TCP/IP.UDP/IP协议栈的通信框架(当然,也能够提供JAVA 对象的序列化服务.虚拟机管道通信服务等).M ...

  6. NIO框架Mina学习

    前言: 找了篇文章看了看,nio框架数Mina用的最多! 代码: 服务端: package com.mina; import java.net.InetSocketAddress; import ja ...

  7. NIO通讯框架之Mina

          在两三年前,阿堂在技术博客(http://blog.sina.com.cn/heyitang)上曾经写过"JAVA新I/O学习系列笔记(1)"和"JAVA新I ...

  8. 【原创】NIO框架入门(二):服务端基于MINA2的UDP双向通信Demo演示

    前言 NIO框架的流行,使得开发大并发.高性能的互联网服务端成为可能.这其中最流行的无非就是MINA和Netty了,MINA目前的主要版本是MINA2.而Netty的主要版本是Netty3和Netty ...

  9. 【原创】NIO框架入门(四):Android与MINA2、Netty4的跨平台UDP双向通信实战

    概述 本文演示的是一个Android客户端程序,通过UDP协议与两个典型的NIO框架服务端,实现跨平台双向通信的完整Demo. 当前由于NIO框架的流行,使得开发大并发.高性能的互联网服务端成为可能. ...

随机推荐

  1. 查看系统进程:ps、top

    1.ps命令:提供最近进程的快照.显示当前活跃进程的简要信息. 常见使用: (1)与grep命令配合查找是否有相应进程存活 ps -ef | grep ksmd ps -Af | grep ksmd ...

  2. pytorch 4 regression 回归

    import torch import torch.nn.functional as F import matplotlib.pyplot as plt # torch.manual_seed(1) ...

  3. [luogu] P2569 [SCOI2010]股票交易 (单调队列优化)

    P2569 [SCOI2010]股票交易 题目描述 最近 \(\text{lxhgww}\) 又迷上了投资股票,通过一段时间的观察和学习,他总结出了股票行情的一些规律. 通过一段时间的观察,\(\te ...

  4. 异构关系数据库(MySql与Oracle)之间的数据类型转换参考

    一.MySQL到Oracle的数据类型的转变: 编号 MySQL ToOracle Oracle 1 GEOMETRY BLOB BLOB 2 GEOMETRYCOLLECTION BLOB BLOB ...

  5. 2015 Multi-University Training Contest 7 hdu 5373 The shortest problem

    The shortest problem Time Limit: 3000/1500 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Oth ...

  6. Ubuntu 安装wps-office

    本系列文章由 @YhL_Leo 出品,转载请注明出处. 文章链接: http://blog.csdn.net/yhl_leo/article/details/50288483 本人的ubuntu系统是 ...

  7. 手写一个节点大小平衡树(SBT)模板,留着用

    看了一下午,感觉有了些了解.应该没有错,有错希望斧正,感谢 #include<stdio.h> #include<string.h> struct s { int key,le ...

  8. 模式匹配的KMP 算法

    常见的字符串匹配时,模式串长度为n,源串长度为m,则从头匹配,两个指针i指向源串,j指向模式串,如遇到不同则回溯使j=0,这样就要反复匹配会使效率变低. 因为在如今i之前 的模式串与匹配串的匹配是同样 ...

  9. Javaee 应用分层架构

    应用分层的优点:修改方便,仅修改有问题的那层以及其相邻几层即可,层数越多,其相应的资源分配也会更加平均 缺点:耗费时间,速度慢,调用占用大量堆栈. JAVAEE的分层: 4层分法:1.客户层:运行在客 ...

  10. Linux网络编程(附1)——封装read、write

    原打算实践简单的模型的时候,主要专注于基本的模型,先用UNIX I/O糊弄下,可是未封装的read和write用起来实在心累,还是直接用前辈们已经实现好的高级版本号read.write. UNIX I ...