高并发&性能优化（一）------总体介绍

【开篇词】

本文主要通过一些经典的高并发场景，以及一些基本的运维工具来讲述一些关于高并发以及性能优化相关的内容，主要包括性能瓶颈的定位，性能调优的思路和技巧等。

【性能的衡量指标】

？什么是性能

性能就是，在有限的时间内，使用有限的资源，完成任务。

在存储资源成本越来越低的今天，时间，就成为了性能指标的度量单位。

衡量指标主要包括以下几个方面：

------吞吐量和响应速度

以红绿灯为例，我们开车到红绿灯前，从排队到行驶通过，这个过程花费的时间，叫响应时间，我们通过的速度，就叫响应速度。

然而，单位时间内通过的车辆总数，就叫吞吐量。

有几个与吞吐量相关的指标：

QPS	每秒查询的数量
TPS	每秒事务的数量
HPS	每秒的HTTP请求的数量

在性能优化的时候，我们首先要确认优化的目标，是吞吐量还是响应速度。

二者有什么不同呢？

响应速度是对串行任务的优化，通过优化执行步骤解决问题；

吞吐量是对并行任务的优化，通过合理利用计算资源达到目标。

------响应时间

响应时间一般代表一个任务的总处理时间，它主要有两个指标。

最常用的，即平均响应时间（AVG），主要体现服务的平均处理时长。

一般情况下，AVG可以很好的体现响应的效率，但是在高并发应用下，由于请求量很大，所以导致某些响应时间很长的请求被很快平均掉了，没有被体现出来；

所以，我们又引入了百分位数（Percentile），它能够反映出应用接口的整体响应情况：

百分位数，是将响应时间从小到大排序，然后返回某一个百分位的响应时间数值。

比如比较常用的TP95 = 100ms，就代表超过95%的请求可以在100ms内返回。

对高百分位的值要求越高，对系统响应能力的稳定性要求越高。

------并发量

并发量是指系统同时能处理的请求数量，这个指标反映了系统的负载能力。

------秒开率

秒开通常指的是在1s以下将应用加载完成，是用户体验很重要的指标。

------正确性

这个不用多说，主要指的是接口返回数据的正确性。

【理论方法】

------木桶理论

木桶可以装多少水，取决于最短的那块木板。

同理，系统的整体性能，就取决于系统中最慢的组件。

------基准测试

基准测试（Benchmark）用来测试程序的最佳性能。

在java中，基准测试主要通过JMH工具进行。

【性能优化的主要技术手段】

------复用

复用优化中，主要包含以下几个方面：

缓冲（Buffer）	常见于对数据的暂存，然后批量传输或者写入。 用来缓解不同设备之间频繁地、缓慢地随机写。 主要针对写操作。
缓存（Cache）	对于已经读取的操作，将其暂存于速度较快的区域，重复读取的时候速度就会得到加强。 主要针对读操作。
池化	参照线程池，避免了资源的大量创建和销毁，以及上下文切换。

------计算优化

并行执行	多机（负载均衡） 多进程（如nginx只有一个master进程，却有多个Worker进程） 多线程
异步	将应用的同步方式修改为异步方式
惰性加载	将有些非关键的图片或者其他显示信息，在应用加载（无需等）结束之后慢慢加载

------结果集优化

在传输之前，将传输的内容进行压缩或者简化。

比如nginx的gzip，比如xml替换成json。

------资源冲突优化

主要是对冲突锁的优化。

------算法优化/高效实现

算法优化指的是针对代码实现算法的优化，高效实现指的是尽量摒弃原有的旧的效率低下的插件以及框架，使用比较流行的技术。

------JVM 优化

主要针对java虚拟机相关的一些优化。

一般参数比较适合的时候，性能会好很多，参数设置不当会造成OOM等后果。

目前，垃圾回收器已经广泛使用G1，通过很少的参数配置，内存即可高效回收；CMS垃圾回收器在Java14中已经被移除，由于其GC时间不可控，所以在使用时应当小心注意。