MySQL连接处理方式及最佳并发连接数设置

mysql是单进程,多线程的架构,通过创建多个线程来服务不同的用户连接,通常情况下,随着用户连接数的增加,mysql内部用于处理用户连接的线程也会同步的增长,在一定范围内,增加用户的并发连接,对提高系统的吞吐量有一定的帮助,然而用户并发连接数超过某个阈值,Mysql的性能反而会降低.

mysql连接处理方式

Mysql内部处理用户连接的方式严格来说有三种

单线程处理所有的用户连接,一般在调试时使用
多线程处理用户连接,一个线程对应一个用户连接,也是Mysql默认连接处理方式
线程池处理用户连接,一个线程对应多个用户连接,比如MysqlPercona发行版提供了线程池功能

线程缓存

Mysql默认的连接处理方式,即一个线程对应一个用户连接,在某些场景下,有一些性能问题,比如大量的短连接,短时间内大量的连接创建和销毁,意味着Mysql内部必须要有同样数量的线程创建和销毁,线程的创建,销毁以及线程上下文切换,会带来严重的性能消耗,因此Mysql开发者提出了线程缓存的概念,缓存一定数量的线程来服务用户连接,用户连接到来,先检查线程缓存中有没有可用的线程,如果没有再去创建,如果有,直接使用线程缓存中的线程,用户连接断开时,线程放回线程缓存中,以便后来的用户连接重用,减少线程频繁创建和销毁

代表用户连接的数据结构THD

用户连接在MySQL实现中由一个数据结构THD表示，THD在连接建立时被创建，在连接断开时销毁，用户连接与THD的关系永远是一对一的关系，THD不能跨连接重用，THD结构大概有10K大小，它是一个C++类，在 sql_class.h文件中定义。THD用于记录各种执行状态，在SQL语句执行的过程中，THD会根据实际情况申请内存使用，尤其对于复杂的SQL，THD占用的内存大小会不断增长，平均下来，一个连接大概10M左右。

设置合适的连接数

MySQL能够处理的最大连接数量由参数 max_connections 决定，但是如何设置 max_connections 的值才是最合适的呢？一般来说需要根据具体的机器配置和业务要求。通常我们需要MySQL能够并发处理的用户连接数越多越好，并发用户数增加的情况下，SQL的执行响应时间不能增长太多，同时内存占用也不能太高，因此需要在并发连接数、响应时间、内存占用等方面做出平衡，并且要能满足业务的对SQL执行的吞吐量和响应时间要求。

如何确定MySQL的最大负载和最大并发度？通过压测，不断增加客户端并发数。比如起始客户端并发数为2，依次递增到4，8，16，32等等，每次递增，在没有达到性能瓶颈前，压测的TPS会随着客户端并发数的增加而增大，响应时间通常会随着客户端并发数的增加而增加，但是增加的幅度并不明显。当客户端并发数达到某个阈值时，比如128，或者256甚至更大时，TPS不再增长，反而出现下降，响应时间则会出现跳跃式的增长，此时则可以认为MySQL已经达到了当前配置的最大性能。不同的硬件配置下，MySQL最大性能的并发连接数也不相同，需要根据具体的环境测试，一般的原则是最大并发连接数等于CPU逻辑核心数的4倍。

此外，如果业务对响应时间有一定的要求，比如业务要求响应时间50ms，在低于50ms的响应时间之内，TPS越高越好。这时就需要通过压测来确定最合适的并发连接数，在响应时间不超过50ms的前提下，不断提高并发数，获取最佳性能。然而不同的机器配置，不同的业务类型，可能会有不同的结果。

下图展示了某个测试环境下，MySQL最佳性能的并发数，在并发128之前，随着并发数的增加，TPS也相应增加，响应时间平稳，然而超过128，可以看到TPS出现下降，并且响应时间增加明显。

简化理解

有三种连接方式

.单线程模式,处理所有的用户连接

.多线程处理,一个线程对应一个用户(mysql默认的方式)

.线程池处理用户连接,一个线程池对应多个用户连接

线程缓存

　　如果短时间创建和销毁线程(大量的短连接),会存在性能上的问题,mysql中有线程缓存的概念,缓存一定的线程来服务用户的连接,用户来之前,先检查缓存线程中是否有可以使用的线程,如果没有就再去创建,如果有,直接使用线程缓存中的线程,用户连接断开后,线程放回到线程缓存中,以便后来的用户连接重用,减少了频繁创建和销毁

代表用户数据结构THD

每个用户连接在mysql中都是右一个数据结构THD表示,THD在连接建立时被创建,在连接断开时销毁,
用户连接和THD是一对一的关系,THD不能跨连接重用,THD结构大约有10k左右,它是一个C++类,
THD用户记录各种执行状态,在sql语句执行过程中,THD会根据实际情况申请内存使用,尤其对于复杂的sql,THD占用的内存大小会不断增长,平均下来一个链接大约10M左右