【实操笔记】MySQL主从同步功能实现

写在前边：

这两天来了个需求，配置部署两台服务器的MySQL数据同步，折腾了两天查了很多相关资料，一直连不上，后来发现其实是数据库授权的ip有问题，我们用的服务器是机房中的虚拟机加上反向代理出来的，坑的不行。看了好多博客，写的怎么说呢，写的好的是太好了太详细了；写的不好的，配置什么的都讲的不清楚，刚接触这块的时候不晓得原理，一味的复制粘贴，后来看到有个博主写的好文，瞬间醍醐灌顶，也有了自己的思路，我就简单的记录下操作步骤和一些细节的注释，原理就直接搬运了，原理图也画了份，就不献丑了，有写错的地方，还望各位大佬不吝赐教，在下感激不尽！

配置MySQL的主从同步有什么好处？

　1--数据分布 (Data distribution )
    2--负载平衡(load balancing)
    3--数据备份(Backups) ，保证数据安全（最主要的作用）
    4--高可用性和容错行(High availability and failover)
    5--实现读写分离，缓解数据库压力

MySQL主从同步实现原理（参考博文点这里）：

master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中；salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件，同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致，最后I/OThread和SQLThread将进入睡眠状态，等待下一次被唤醒。
注意几点：
     1--master将操作语句记录到binlog日志中，然后授予slave远程连接的权限（master一定要开启binlog二进制日志功能；通常为了数据安全考虑，slave也开启binlog功能）。
     2--slave开启两个线程：IO线程和SQL线程。其中：IO线程负责读取master的binlog内容到中继日志relay log里；SQL线程负责从relay log日志里读出binlog内容，并更新到slave的数据库里，这样就能保证slave数据和master数据保持一致了。
     3--Mysql复制至少需要两个Mysql的服务，当然Mysql服务可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。
     4--Mysql复制最好确保master和slave服务器上的Mysql版本相同（如果不能满足版本一致，那么要保证master主节点的版本低于slave从节点的版本）
     5--master和slave两节点间时间需同步

Mysql复制的流程图如下：

MySQL是怎样同步的？

　1--基于语句的复制： 在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。一旦发现没法精确复制时，会自动选着基于行的复制。 
    2--基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持
    3--混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

实现环境：

| System　　 | mysql 　　　  |  ip　　　 　  　|

|:----　　　　 |:----　  　　　  |:----

|win7 　　　  | mysql-5.6.24   | 192.168.1.129 |

|centos 6.7　 | mysql-5.6.39   | 192.168.1.128 |

注：从服务器的mysql版本最好和主服务器相同，或者大于主服务器版本

MySQL主从同步的实现部分：

首先是Master(主节点)的配置：

#主Master服务器配置：

1.进入mysql的安装目录，新建一个log文件夹（这个是存储binary log的路径）

2.主服务器开启log_bin，需修改my.ini，配置如下：

#*********************master my.ini配置文件开始*****************************************
#路径均为当前服务器的实际路径
basedir = D:\\apps\\mysql-5.6.24-win32
datadir = D:\\apps\\mysql-5.6.24-win32\\data
port = 3306

#生成记录文件位置，同步必须，请勿手动删除,格式位置为 ：log-bin=mysql安装路径/log/mysql-bin.log
log-bin=D:\\apps\\mysql-5.6.24-win32\\log\\mysql-bin.log
#服务ID，用于区分服务，范围1~2^32-1,需要与从服务器不同
server_id= 1
#MySQL 磁盘写入策略以及数据安全性
#每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去
innodb_flush_log_at_trx_commit=1

#当sync_binlog =N (N>0) ，MySQL 在每写 N次 二进制日志binary log时，会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
sync_binlog 的默认值是0，像操作系统刷其他文件的机制一样，MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
sync_binlog= 1
#同步数据库，如果多库，就以此格式另写几行即可
binlog-do-db=test
#无需同步的数据库，以下几行基本一样，无需改动
binlog-ignore-db = cluster
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = information_schema

#mysql复制模式，三种：SBR（基于sql语句复制），RBR（基于行的复制），MBR（混合模式复制）
#混合模式复制
binlog_format=MIXED
#binlog过期清理时间
expire_logs_days=7
#binlog每个日志文件大小
max_binlog_size=20M
#*********************master my.ini配置文件结束*****************************************

3.重启mysql服务，mysql命令行执行：

show master status;#记录文件名以及紧跟的当前行数数字

4.创建并授权用户，后两个slave分别是用户名和密码

grant replication slave ,replication client on *.* to slave@'192.168.1.128' identified by "slave";
flush privileges; #权限修改立即生效
flush tables with read lock; #锁定数据库为只读，确保备份数据一致性

5.退出mysql命令行，执行备份命令

#备份当前所有数据库，可以参考备份单库
mysqldump -u root -p --all-databases --master-data > dbdump.sql

6.将sql脚本在从服务器执行
7.从服务器启动slave（前提是配置好从服务器）
8.从服务器启动完毕后关闭表锁

unlock tables;

 

#从服务器的配置

1.停掉slave服务

service mysqld stop

2.修改配置文件：

vim /etc/my.cnf

#从数据库（Slave）配置：
#***********************************slave my.cnf配置开始******************************
#从库日志记录文件位置或名称前缀
log_bin = /var/lib/mysql/mylogbin.log
#同步日志记录的频率，1为每条都记录，安全但效率低
sync_binlog = 1
#server的id，不能与相同id的mysql主从连接
server-id=2
#从库日志忽略的数据库名称，不记录
#这里记录从库的binlog是为了安全，如果觉得没必要，可以去掉从库binlog的配置
binlog-ignore-db = cluster
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = information_schema
#此处添加需要同步的数据库名称，那么它会只接收这个数据库的信息，多个数据库需同步按照此格式另写几行即可
#这里同步数据有两种思路，一种是主服务器只发从库需要的，在主库指定；一种是主服务器把所有数据同步过来，从库按需过滤接收
#为了让配置更详细些，此处配置了从库过滤接收的配置
replicate-do-db=test
#忽略接收的库名
replicate-ignore-db = cluster
replicate-ignore-db = mysql
replicate-ignore-db = performance_schema
replicate-ignore-db = information_schema
#跳过所有错误继续
slave-skip-errors=all
#设置延时时间
slave-net-timeout=60

#mysql复制模式，三种：SBR（基于sql语句复制），RBR（基于行的复制），MBR（混合模式复制）
binlog_format=MIXED #混合模式复制
expire_logs_days=7 #binlog过期清理时间
max_binlog_size=20M #binlog每个日志文件大小
#***********************************slave my.cnf配置结束******************************

3.保存退出:wq

4.启动mysqld服务

service mysqld start

5.删除多余数据库，导入数据，删除部分不予演示,sql的位置请自行指定

mysqldump -u root -p < ~/dbdump.sql #这里演示就是上传到了root的根目录，具体请使用“find / -name sql脚本名” 命令查询

6.从服务器指定master

CHANGE MASTER TO
MASTER_HOST='192.168.1.129',
MASTER_USER='slave',
MASTER_PASSWORD='slave',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=;

注：最后两行是之前在主服务器show master status 所记录的数据

　　如果之前已经启动了一个slave进程，那么以上的命令会失效，并提示stop slave first，所以先stop slave; 然后重试

7.启动slave

start slave;
show slave status\G #注意，没有分号

输出如下，显示两个都为yes即成功，可以测试一下

mysql> show slave status;

*************************** . row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.129
                  Master_User: replication
                  Master_Port:
                Connect_Retry:
              Master_Log_File: mysql-bin.
          Read_Master_Log_Pos: 593
               Relay_Log_File: mysql-relay-log.
                Relay_Log_Pos:
        Relay_Master_Log_File: mysql-bin.
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno:
                   Last_Error:
                 Skip_Counter:
          Exec_Master_Log_Pos:
              Relay_Log_Space:
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos:
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master:
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno:
                Last_IO_Error:
               Last_SQL_Errno:
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id:
"""

8.去主服务器开启表只读锁

unlock tables;

--------------------------------实现部分到此结束--------------------------------------

彻底解除主从复制关系
1)stop slave;
2)reset slave; #或直接删除master.info和relay-log.info这两个文件；
3)修改my.cnf删除主从相关配置参数。

4)Delete FROM user Where User='slave' and Host='192.168.1.128';#删除主服务器配置的连接slave用户

---

本文参考博文列表：

Mysql主从同步(1)-主从/主主环境部署梳理

MySQL5.7 添加用户、删除用户与授权

mysql设置指定ip访问，用户权限相关操作

win7下mysql5.6与centos下mysql5.6主从复制

mysql5.6 主从复制同步详细配置(图文)

MySQL5.6 数据库主从（Master/Slave）同步安装与配置详解

centos 7下mysql5.7 主从数据库同步配置

MySql 5.7.18 数据库主从（Master/Slave）同步安装与配置详解

mysql从库Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in binary log index file'报错处理

【MySQL】Last_IO_Errno: 1593 server-uuid重复导致slave报错

【MySQL】MySQL5.6数据库基于binlog主从（Master/Slave）同步安装与配置详解

Window 下mysql binlog开启及查看，mysqlbinlog

mysql主从复制-CHANGE MASTER TO 语法详解

[trouble] error connecting to master 'repl@192.168.1.107:3306' - retry-time: 60 retries: 86400