场景这里指的高性能高并发服务器是一个有状态的服务,可以理解成web或者socket服务器,每个业务在这个服务上执行后是有状态的。比如一次电信业务,设计用户请求资源分配,网络带宽分配,billing认证等。这些状态需要保留在服务器端,称为session。该系统的特点是session信息写入量大,更新访问频繁。

1,使用异步通信

异步通信显然可以更快的返回响应。从实际经验看,对高吞吐服务器更大的好处是,系统中的某一服务出现问题后往往出现雪崩似的服务宕机。这很多都是由于采用同步通信,需要等待其他服务同步通信结束后,其占用资源才能得到释放。而这些资源往往是socket连接、线程、数据库连接等比较重的资源。因此请慎重使用同步通信。如果你真的需要他,可以用个mock同步。正如Tim Yang所说:很多远程服务调用是在关键路径中,它可以容忍失败,但是不能容忍堵塞。

2,使用NIO

NIO几乎是Java cluster的基石。大量分布式开源项目Thrift, ZooKeeper等都基于此项技术。其好处是用较低的系统开销处理大量消息。在Intel(R) Pentium(R) 4 CPU 3.00GHz/1G内存的普通PC上跑基于NIO/TCP的RTSP测试,每秒处理1K个RTSP消息是没有问题的。关于NIO的架构可以参考开源项目MINA,但要注意的是,不要直接用处理NIO消息的线程处理逻辑。

3,尽量不使用锁

如果你在高性能服务器逻辑中看到同步锁,就要小心了。我们希望服务器可以同时并发的尽量多的处理请求,而同步锁恰恰摁住了业务的咽喉。同时如果线程设计有问题而导致大量线程争夺同一把锁,最坏的情况(超过1K+线程)我曾见过JVM要用几个小时来调度一个线程占锁(为什么?请牛人解释)。解决的办法就是:1,尽量不用。可能么?在一定程度上是可能的,比如我曾使用一致性哈希算法解决资源sticky的问题。用算法替代同步,是一个思路;2,尽量减少锁的范围,事同步锁影响的逻辑越少越好。效果也很明显;3,使用数据库更新替代同步也是一个思路,虽然我自己不是很喜欢,但是从实际效果看使用数据库,特别是用存储过程。在压力不大的情况也是个简单有效的方法。

4,减少GC

Full GC对Java服务器性能的影响是致命的,特别是当JVM管理着较大内存时。即使是在小型应用,例如Old区只分配512M内存,一次Full GC都可能耗时2~3秒,这意味着你所有的服务都会中断。尽量减少Full GC的次数绝对是我们的目标。

首先,合理的配置GC参数,采用ParallelGC和 ConcMarkSweepGC,即并发和增量GC。CMS,全称Concurrent Low Pause Collector,CMS用两次短暂停来替代串行标记整理算法的长暂停。

第二,打出GC log,在性能测试阶段,检查你的GC是否OK。系统在线测试时也可以提供宝贵的track。

-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps

给出一个实际服务器GC参数为例,

1

JAVA_OPTS=" -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+DisableExplicitGC

2

JAVA_OPTS=" -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=8

3

JAVA_OPTS="-Xms256m -Xmx640m -XX:NewSize=128m -XX:MaxNewSize=256m -Xss128k

4

JAVA_OPTS=" -XX:PermSize=64m -XX:MaxPermSize=128m

5

JAVA_OPTS=" -XX:SurvivorRatio=14 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=16

5,数据库前Cache

用queue缓存数据,一次写入多个数据。可以用多个线程同时写入数据库。在实际系统中,用多个线程同时读取cache并写入Mysql是效率很高的。

6,增加数据库索引

看起来很弱对吧?可是我真的遇到过靠加个简单的索引解决过一个很严重的性能问题。系统瓶颈的多数问题都存在于数据库和线程的使用不当上,所以还是要强调一下。

7,Master-Slave Mysql

Mysql有一篇很有名的文章来解释在Master-Slave结构下提高读效率的文章。大致就是说Mysql基准测试下max_read=1200次/s。在读写比例为9:1的情况下,通常写的时间比读的时间多一倍。假设有N个slave,如果只用slave来读,公式如下:

Max reads = 1200 – 2 * writes

Max Reads = 9 * writes / (N + 1) (读为9倍的写,平均到N+1个Mysql上)

9 * writes / (N + 1) + 2 *writes = 1200

Writes = 1200/ (2 + 9/(N+1))

结论是N=1,每秒增加到184次写

N = 8,增加到400次写

其中需要考虑的是复制多份binlog所占的网络带宽和对Master Mysql的影响。但我们在实际应用中认为mysql master-slave binlog增量同步是非常迅速且没有察觉到对性能的负面影响。但一般来说,既然memcached可以很好解决read问题,很少有team做这么大规模的mysql cluster。但小于等于4个还是可以考虑的。

总结,合理的使用异步通信,线程调度,优化GC和解决数据库瓶颈往往可以是构建高性能高并发Java消息处理服务器的利器。但这仅限于逻辑业务相对简单的即时通信系统,如果是设计大量cache调度,比如网页调度。或者是设计海量数据处理服务器,则需要考虑更多的问题。

构建高性能高并发Java系统 .的更多相关文章

  1. Java高并发秒杀系统API之SSM框架集成swagger与AdminLTE

    初衷与整理描述 Java高并发秒杀系统API是来源于网上教程的一个Java项目,也是我接触Java的第一个项目.本来是一枚c#码农,公司计划部分业务转java,于是我利用业务时间自学Java才有了本文 ...

  2. 浅谈千万级PV/IP规模高性能高并发网站架构(转自老男孩)

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://oldboy.blog.51cto.com/2561410/736710 如果把来 ...

  3. 高吞吐高并发Java NIO服务的架构(NIO架构及应用之一)

    高吞吐高并发Java NIO服务的架构(NIO架构及应用之一) http://maoyidao.iteye.com/blog/1149015   Java NIO成功的应用在了各种分布式.即时通信和中 ...

  4. PHP-学习大规模高并发Web系统架构及开发推荐书籍

    以下书籍内容涵盖大型网站开发中几个关键点:高可用.高性能.分布式.易扩展.如果想对大规模高并发Web系统架构及开发有很系统的学习,可以阅读以下书籍,欢迎补充! 一.<Linux企业集群—用商用硬 ...

  5. 高性能高并发服务器架构设计探究——以flamigo服务器代码为例

    这篇文章我们将介绍服务器的开发,并从多个方面探究如何开发一款高性能高并发的服务器程序. 所谓高性能就是服务器能流畅地处理各个客户端的连接并尽量低延迟地应答客户端的请求:所谓高并发,指的是服务器可以同时 ...

  6. 【高并发】Redis如何助力高并发秒杀系统,看完这篇我彻底懂了!!

    写在前面 之前,我们在<[高并发]高并发秒杀系统架构解密,不是所有的秒杀都是秒杀!>一文中,详细讲解了高并发秒杀系统的架构设计,其中,我们介绍了可以使用Redis存储秒杀商品的库存数量.很 ...

  7. [ 高并发]Java高并发编程系列第二篇--线程同步

    高并发,听起来高大上的一个词汇,在身处于互联网潮的社会大趋势下,高并发赋予了更多的传奇色彩.首先,我们可以看到很多招聘中,会提到有高并发项目者优先.高并发,意味着,你的前雇主,有很大的业务层面的需求, ...

  8. 浅谈千万级PV/IP规模高性能高并发网站架构

    高并发访问的核心原则其实就一句话“把所有的用户访问请求都尽量往前推”. 如果把来访用户比作来犯的"敌人",我们一定要把他们挡在800里地以外,即不能让他们的请求一下打到我们的指挥部 ...

  9. (转)浅谈千万级PV/IP规模高性能高并发网站架构

    浅谈千万级PV/IP规模高性能高并发网站架构 原文:http://blog.51cto.com/oldboy/736710 文章架构简图:   高并发访问的核心原则其实就一句话“把所有的用户访问请求都 ...

随机推荐

  1. 基于SpringBoot的花里胡哨配置

    花里胡哨的配置 记录一下流行框架的一些常用配置 lomback配置文件 <?xml version="1.0" encoding="UTF-8"?> ...

  2. PHP ftp_nlist() 函数

    「大理石平台维修」大理石平台维修完后需要怎么处理? 定义和用法 ftp_nlist() 函数返回 FTP 服务器上指定目录的文件列表. 如果成功,则返回指定目录下的文件名组成的数组.如果失败,则返回 ...

  3. js设计模式——8.中介者模式

    js设计模式——8.中介者模式 /*js设计模式——中介者模式*/ class A { constructor() { this.number = 0; } setNumber(num, m) { t ...

  4. Block 使用总结

    - (void)testBlockWeakObj1 { UILabel *tl = [[UILabelalloc]init];//本地局部变量 __weak UILabel *weakTL = tl; ...

  5. 第十四届华中科技大学程序设计竞赛 K--Walking in the Forest

    链接:https://www.nowcoder.com/acm/contest/106/K来源:牛客网 题目描述 It’s universally acknowledged that there’re ...

  6. 不带头结点的单链表------C语言实现

    File name:no_head_link.c Author:SimonKly Version:0.1 Date: 2017.5.20 Description:不带头节点的单链表 Funcion L ...

  7. Java-Class-I:org.springframework.web.mutipart.MutipartFile

    ylbtech-Java-Class-I:org.springframework.web.mutipart.MutipartFile 1.返回顶部   2.返回顶部 1.1. import org.s ...

  8. MarkDown 快速开始 上手

    *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* ...

  9. https://blog.csdn.net/rubbertree/article/details/88877262

    本文链接:https://blog.csdn.net/rubbertree/article/details/88877262 https://blog.csdn.net/mingtianhaiyouw ...

  10. VC++ 2010 创建高级Ribbon界面详解(2)

    Ribbon 控件的使用 1.命令按钮 命令按钮可以说是我们最常用的Ribbon控件了,我们通常都是通过命令按钮来发送某个命令,执行某个动作.它代替了过去的菜单命令,成为使用最频繁的Ribbon控件. ...