Mysql 采用多线程进行复制是从 Mysql 5.6 开始支持的内容，但是 5.6 版本下有缺陷，虽然支持多线程，但是每个数据库只能一个线程，也就是说如果我们只有一个数据库，则主从复制时也只有一个线程在工作。相当于还是以前的单线程。 从 Mysql 5.7 开始支持同一数据库下并行主从复制。不过默认情况下，还是单数据库单个线程，如果需要使用多线程，需要在从节点进行配置。

Mysql 5.7 对主从复制增加了一种类型，共有两种类型，如下：

  • DATABASE 基于库的并行复制 ， 每个数据库对应一个复制线程
  • LOGICAL_CLOCK 基于组提交的并行复制方式，同一个数据库下可以有多个线程

下面的步骤，在从节点上进行配置。

查看当前配置

在开始配置之前，我们先看一下当前配置下的主从复制的进程数。

1
2
3
4
5
6
7
8
9
 
mysql> show processlist;
+----+-------------+-----------+------+---------+-------+--------------------------------------------------------+------------------+
| Id | User        | Host      | db   | Command | Time  | State                                                  | Info             |
+----+-------------+-----------+------+---------+-------+--------------------------------------------------------+------------------+
|  1 | system user |           | NULL | Connect | 91749 | Waiting for master to send event                       | NULL             |
|  2 | system user |           | NULL | Connect |   208 | Slave has read all relay log; waiting for more updates | NULL             |
| 37 | root        | localhost | NULL | Query   |     0 | starting                                               | show processlist |
+----+-------------+-----------+------+---------+-------+--------------------------------------------------------+------------------+
3 rows in set (0.00 sec)

从上面看出只有一个主进程在等待同步。

下面查看复制类型和并行数量配置

1
2
3
4
5
6
7
 
mysql> show variables like 'slave_parallel_type';
+---------------------+----------+
| Variable_name       | Value    |
+---------------------+----------+
| slave_parallel_type | DATABASE |
+---------------------+----------+
1 row in set (0.00 sec)

当前的复制类型是 DATABASE，也就是统一数据库下只有一个线程进行复制，不能并行复制。

1
2
3
4
5
6
7
 
mysql> show variables like 'slave_parallel_workers';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| slave_parallel_workers | 0     |
+------------------------+-------+
1 row in set (0.01 sec)

当前并行工作的进程数是 0

配置多线程

1、停止从节点复制

1
2
 
mysql> stop slave;
Query OK, 0 rows affected (0.01 sec)

2、设置复制类型为 LOGICAL_CLOCK

1
2
3
4
5
6
7
8
9
10
 
mysql> set global slave_parallel_type='logical_clock';
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'slave_parallel_type';
+---------------------+---------------+
| Variable_name       | Value         |
+---------------------+---------------+
| slave_parallel_type | LOGICAL_CLOCK |
+---------------------+---------------+
1 row in set (0.01 sec)

3、设置并行数量为 4

1
2
3
4
5
6
7
8
9
10
11
 
mysql> set global slave_parallel_workers=4;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'slave_parallel_workers';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| slave_parallel_workers | 4     |
+------------------------+-------+
1 row in set (0.00 sec)

4、启动从节点复制

1
2
 
mysql> start slave;
Query OK, 0 rows affected (0.02 sec)

5、查看一下当前工作的线程数

1
2
3
4
5
6
7
8
9
10
11
12
13
 
mysql> show processlist;
+----+-------------+-----------+------+---------+------+--------------------------------------------------------+------------------+
| Id | User        | Host      | db   | Command | Time | State                                                  | Info             |
+----+-------------+-----------+------+---------+------+--------------------------------------------------------+------------------+
| 37 | root        | localhost | NULL | Query   |    0 | starting                                               | show processlist |
| 38 | system user |           | NULL | Connect |    8 | Waiting for master to send event                       | NULL             |
| 39 | system user |           | NULL | Connect |    7 | Slave has read all relay log; waiting for more updates | NULL             |
| 40 | system user |           | NULL | Connect |    8 | Waiting for an event from Coordinator                  | NULL             |
| 41 | system user |           | NULL | Connect |    8 | Waiting for an event from Coordinator                  | NULL             |
| 42 | system user |           | NULL | Connect |    8 | Waiting for an event from Coordinator                  | NULL             |
| 43 | system user |           | NULL | Connect |    8 | Waiting for an event from Coordinator                  | NULL             |
+----+-------------+-----------+------+---------+------+--------------------------------------------------------+------------------+
7 rows in set (0.00 sec)

最后说一下为什么需要多线程复制？因为主从之间的同步会有延时，多线程的目的是为了尽量减少这个延时时间。虽然如何优化主从是一个系统的功能，不同的场景需要不同的解决方案，但是多线程至少从基础上能减少延迟时间。另外根据数据库的实际情况，能否真正减少延时，以及配置多少线程，则需要反复的测试得出适合自己的数据。

实例配置:

cat backup-my.cnf

# This MySQL options file was generated by innobackupex.

# The MySQL server

[mysqld]

port = 3310

#innodb_checksum_algorithm=innodb

#innodb_log_checksum_algorithm=innodb

innodb_data_file_path=ibdata1:200M:autoextend

innodb_log_files_in_group=2

innodb_log_file_size=1572864000

#innodb_fast_checksum=false

#innodb_page_size=16384

#innodb_log_block_size=512

innodb_undo_directory=.

innodb_undo_tablespaces=0

server-id = 1234

binlog-format = ROW

gtid-mode = ON

enforce-gtid-consistency = true

relay_log_recovery = 1

sync-binlog = 0

skip_slave_start = 1

slave-parallel-type=LOGICAL_CLOCK

slave-parallel-workers=32

master_info_repository=TABLE

relay_log_info_repository=TABLE

relay_log_recovery=ON

#rds_encrypt_data=false

#innodb_encrypt_algorithm=aes_128_ecb

　　

mysql> show processlist;

+----+-------------+-----------+------+---------+-------+----------------------------------------+------------------+

| Id | User        | Host      | db   | Command | Time  | State                                  | Info             |

+----+-------------+-----------+------+---------+-------+----------------------------------------+------------------+

|  2 | root        | localhost | NULL | Query   |     0 | starting                               | show processlist |

|  3 | system user |           | NULL | Connect |    13 | Queueing master event to the relay log | NULL             |

|  4 | system user |           | NULL | Connect |     0 | System lock                            | NULL             |

|  5 | system user |           | NULL | Connect | 49775 | Waiting for an event from Coordinator  | NULL             |

|  6 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

|  7 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

|  8 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

|  9 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 10 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 11 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 12 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 13 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 14 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 15 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 16 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 17 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 18 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 19 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 20 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 21 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 22 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 23 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 24 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 25 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 26 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 27 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 28 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 29 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 30 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 31 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 32 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 33 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 34 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 35 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

| 36 | system user |           | NULL | Connect |    13 | Waiting for an event from Coordinator  | NULL             |

+----+-------------+-----------+------+---------+-------+----------------------------------------+------------------+

35 rows in set (0.00 sec)

mysql> show global variables like 'slave_parallel_workers';

+------------------------+-------+

| Variable_name          | Value |

+------------------------+-------+

| slave_parallel_workers | 32    |

+------------------------+-------+

1 row in set (0.00 sec)

mysql> show global variables like '%slave_parallel_type%';

+---------------------+---------------+

| Variable_name       | Value         |

+---------------------+---------------+

| slave_parallel_type | LOGICAL_CLOCK |

+---------------------+---------------+

1 row in set (0.00 sec)

　　

Mysql 5.7 从节点配置多线程主从复制的更多相关文章

  1. Windows Server 2008R2配置MySQL Cluster并将管理节点和数据节点配置成windows服务

    说明:将mysql的管理节点和数据节点配置成windows服务是为了防止有人手误关闭管理节点或数据节点的dos命令窗口,管理节点或数据节点的命令窗口误关闭可能会造成mysql某台或某几台mysql不能 ...

  2. MySQL中双NDBD节点Cluster快速配置

    是MySQL适合于分布式计算环境的高实用.高冗余版本.它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器.在MyQL 5.0及以上的二进制版本中.以及与最 ...

  3. MySQL并发复制系列二：多线程复制

     http://blog.itpub.net/28218939/viewspace-1975822/ 并发复制(Parallel Replication) 系列二: Enhanced Multi-th ...

  4. MySQL并发复制系列二：多线程复制 2016

    并发复制(Parallel Replication) 系列二: Enhanced Multi-threaded Slaves作者:沃趣科技MySQL数据库工程师  麻鹏飞 首先梳理下传统MySQL/M ...

  5. MySQL集群（一）之主从复制

    前面学完了JDBC,接下来带大家感受一下MySQL集群!其实什么是MySQL集群?简单的说就是一群机器(服务器)的集合,它们连在一起来工作. 其实各种数据库都有自己的集群,常常的多: 我们要学习的就是 ...

  6. MySQL高可用之MHA配置

    本文简单介绍了MySQL的高可用实现方式之一的MHA MHA:Master High Availability,对主节点进行监控,可实现自动故障转移至其它从节点:通过提升某一从节点为新的主节点,基于主 ...

  7. Linux安装Mycat1.6.7.4并实现Mysql数据库读写分离简单配置

    1. Mycat简介 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务.ACID.可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群 一 ...

  8. Docker安装mysql镜像并进行主从配置

    Docker安装mysql镜像并进行主从配置 1.下载需要的mysql版本镜像 docker pull mysql:5.6 2.启动mysql服务实例(基本启动) #启动主mysql docker r ...

  9. 数据库相关文章转载(1) MySQL性能优化之参数配置

    1.目的: 通过根据服务器目前状况,修改Mysql的系统参数,达到合理利用服务器现有资源,最大合理的提高MySQL性能. 2.服务器参数: 32G内存.4个CPU,每个CPU 8核. 3.MySQL目 ...

随机推荐

  1. SQL Server批量替换全部表中内容sql语句-清楚挂马

    有朋友常常会发现自己的数据库全部的内容给插入了一些代码,假设要一个个表一个个记录去删除.太麻烦了,以下我在在网上找到一个能够批量删除的方法,实际上是批量把那段恶意代码替换,很高速. declare @ ...

  2. Java Net版短网址(ShortUrl)的算法及实现 待续

    算法 1)将长网址md5生成32位签名串,分为4段, 每段8个字节; 2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理; 3) ...

  3. R语言缺点

    R的优点:免费,开源,体积小.缺点:对大文本处理差,另外一个也在于开源,package如果出错,烦死你.当你跑比较大的simulation,对效率有要求的时候,有时还是不得不用C,这可能是10小时和1 ...

  4. PHP自己定义安装

    ① 自己定义安装(先要在管理里停止apache服务,再卸载apache.再安装时不须要重新启动电脑) apache+php+mysql+phpmyadmin自行安装 我们建议大家,安装的时候安装到同一 ...

  5. avi视频格式转yuv格式与播放yuv视频

    因为要用到yuv格式视频.而眼下仅仅有avi格式的视频,所以须要转换,而且opencv不支持yuv编码的视频播放.所以须要转换为rgb编码.而后播放.写了两个程序.以供參考: 1,avi格式视频转yu ...

  6. Objective-C：继承、分类(Category、extension)、协议(protocol)，个人理解，仅供参考

    总结:继承.分类(Category.extension).协议(protocol)   一.继承: (1)特点: 继承多用于一般父类中的方法功能比较齐全,子类从父类继承过来使用,可以省略很多重复的代码 ...

  7. struts2 18拦截器详解(五)

    I18nInterceptor 该拦截器处理defaultStack第四的位置,是用来方便国际化的,如果说我们的一个Web项目要支持国际化的话,通常的做法是给定一个下拉框列出所支持的语言,当用户选择了 ...

  8. permission 文档 翻译 运行时权限

    文档位置:API24/guide/topics/security/permissions.html  System Permissions 系统权限 Android is a privilege-se ...

  9. 【Handler】Looper 原理 详解 示例 总结

    核心知识点 1.相关名词 UI线程:就是我们的主线程,系统在创建UI线程的时候会初始化一个Looper对象,同时也会创建一个与其关联的MessageQueue Handler:作用就是发送与处理信息, ...

  10. maven mvn Failed during checkstyle execution

    maven 命令默认强制使用checkstyle, 造成 命令运行失败 并报错: Failed during checkstyle execution 关闭checkstyle,命令如下: mvn [ ...