mysql集群配置在网站负载均衡中是必不可少的;

首先说下我个人准备的负载均衡方式;

  1、通过nginx方向代理来将服务器压力分散到各个服务器上;

  2、每个服务器中代码逻辑一样;

  3、通过使用redis缓存来保存内存中数据,使用redis同步功能来同步不同服务器内存中的数据;

  4、在通过mysql的集群配置来实现数据库数据同步;

这里我整理了几种数据同步方式;

一:主从服务器同步;

  顾名思义:主服务器负责数据的增删改查,从服务器负责同步数据;

  主服务器建立二进制文件;每产生语句变化或磁盘变化写入日至;

  从服务器读主服务二进制日至;将读到的日至转成从服务的relaylog,从服务读取relaylog同步主主服务器;

  主服务器建立授权复制账号;

  从服务器利用账号来监听主服务器;

  步骤:

  1、首先需要至少两台服务器,我这边118.xxx.xxx.1(主),118.xxx.xxx.2(从)两台服务器;两台搭建mysql方式不同,一台安装mysql,和mysql-server;一台通过直接安装mariadb方式;没什么影响;

  2、主服务器修改/etc/my.cnf;    

#在[mysqld]下添加,建立二进制日至
#server-id一般用服务器后一位
server-id=1
log-binary=mysql-bin #监听变化方式,statement语句变化,row行变化,mixed智能选择
binlog-format=mixed

  关于binlog-format的参数statement/row

  当影响一行如更新一行、插入一行、删除一行时使用row比较合理

  当更新插入删除多行时使用statement比较合理

  mixed是mysql根据条件自动选择使用哪一个参数

  3、从服务器修改/etc/my.cnf

#[mysqld]下添加relay-log

#server-id一般用服务器后一位
server-id=2
relay-log=mysql-relay

  4、重启两台服务器mysql 服务

//1
systemctl restart mysql //2
systemctl restart mariadb

  5、主服务建立授权账号replication client,replication slave账号允许服务二进制日至

grant replication client,replication slave on *.* to 'repl1'@'118.xxx.xxx.2' identified by 'password';

  注意这里账号的权限只能填*.*;否则会报如下错误

ERROR 1221 (HY000): Incorrect usage of DB GRANT and GLOBAL PRIVILEGES

  6、从服务通过账号链接主服务器

#进入mysql,清除从库中的同步复制信息;
reset slave; #改变同步主机的信息
change master to
master_host='118.xxx.xxx.1',
master_user='repl1',
master_password='password',
master_log_file='mysql-bin.000003',
master_log_pos=543;

  主服务器二进制日至在/var/lib/mysql中

  在主服务器中show master status;查看主服务日至状态;file目前使用的日志文件;position目前使用的日志文件中的位置;开始从这个位置往后同步;

  7、查看从服务同步信息状态,并启动;

show slave status \G

  参数详解:

    slave_io_state:线程正在试图链接到主服务器的状态;

    master_host:主服务器ip地址

    master_user:被用于链接的当前用户

    master_port:当前的连接主服务器接口

     Connect_Retry:--master-connect-retry选项的当前值

    

     Master_Log_File:sql线程当前正在读取和执行的中继日志文件名称

  

     Read_Master_Log_Pos:当前中继日至中,sql线程已经读取和执行的位置

     Slave_IO_Running:io线程是否被启动并成功连接上主服务

//启动同步
start slave;

  7、查看启动后的状态waiting for master to send event 表示正常;

错误:

The server is not configured as slave; fix in config file or with CHANGE MASTER TO

这表示server-id 错误;将server-id 正确写在[mysqld]下的位置;

Failed to open the relay log './mariadb-relay-bin.000001' (relay_log_pos 4)

没有找到relay-bin.000001日至;因为修改前没有清除原有的配置;

解决方案:reset slave;后在change master to ....;

一:主主服务器同步;

  主主服务器mysql同时两台服务器同时监听对方服务器mysql变化;当有一台服务器中数据有变化,另一台实时同步;

  主从服务器同时建立二进制文件;每产生语句变化或磁盘变化写入日至;

  主从服务器同时读另一台服务二进制日至;将读到的日至转成本身服务的relaylog,然后读区本服务器的relaylog同步数据;

  两台服务器建立授权复制账号;

  两台服务器利用账号来监听另一台服务器;

  1、两台服务器my.cnf中配置

//服务器1
server-id=163
log-bin=mysql-bin
binlog-format=mixed
relay-log=mysql-relay
//服务器2
server-id=244
log-bin=mysql-bin
binlog-format=mixed
relay-log=mysql-relay

  2、两台服务器都建立授权监听账号

  

grant replication client,replication slave on *.* to 'repl163'@'118.xxx.xxx.1' identified by 'code@password';
grant replication client,replication slave on *.* to 'repl163'@'118.xxx.xxx.2' identified by 'code@password';

  3、两台服务器都监听对方log日至

change master to master_host='118.xxx.xxx.1',master_user='repl163',master_password='password',master_log_file='mysql-bin.000001',master_log_pos=746;
change master to master_host='118.xxx.xxx.2',master_user='repl163',master_password='password',master_log_file='mysql-bin.000001',master_log_pos=746;

  4、通过show slave status \G查看监听状态

  错误:Last_IO_Error: error connecting to master 'repl163@118.xxx.xxx.1:3306' - retry-time: 60  retries: 2

  表示连接出错,检查得知为ip写错了;

  ERROR 1198 (HY000): This operation cannot be performed with a running slave; run STOP SLAVE first

  表示在没有解锁的情况下停止slave进程:需要clear slave;

  然后再执行change master to...

  5、show slave status \G没有问题后启动;  

start slave

三:mysql-proxy实现负载均衡和读写分离

//install
yum install mysql-proxy
//101.xxx.xxx.1代理mysql端口4040;没有守护进程
mysql-proxy -P 101.xxx.xxx.1:4040 --proxy-backend-addresses=101.xxx.xxx.1:3306 --proxy-backend-addresses=101.xxx.xxx.2:3306
//读写分离写法,守护进程启动
mysql-proxy -b 101.xxx.xxx.1:3306 -r 101.xxx.xxx.1:3306 -s /usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua --daemon

mysql 集群 数据同步的更多相关文章

  1. Eureka应用注册与集群数据同步源码解析

    在之前的EurekaClient自动装配及启动流程解析一文中我们提到过,在构造DiscoveryClient类时,会把自身注册到服务端,本文就来分析一下这个注册流程 客户端发起注册 boolean r ...

  2. mysql 集群+主从同步

    SQL节点: 给上层应用层提供sql访问. 管理节点(MGM):  管理整个集群. 启动,关闭集群. 通过ndb_mgmd命令启动集群 存储/数据节点: 保存cluster中的数据.  数据节点,可以 ...

  3. Elasticsearch多集群数据同步

    有时多个Elasticsearch集群避免不了要同步数据,网上查找了下数据同步工具还挺多,比较常用的有:elasticserach-dump.elasticsearch-exporter.logsta ...

  4. 008 Ceph集群数据同步

    介绍,目前已经创建一个名为ceph的Ceph集群,和一个backup(单节点)Ceph集群,是的这两个集群的数据可以同步,做备份恢复功能 一.配置集群的相互访问 1.1 安装rbd mirror rb ...

  5. elasticsearch 不同集群数据同步

    采用快照方式 1.源集群采用NFS,注意权限 2.共享目录完成后,在所有ES服务器上挂载为同一目录 3.创建快照仓库 put _snapshot/my_backup{ "type" ...

  6. 高可用性、负载均衡的mysql集群解决方案

    高可用性.负载均衡的mysql集群解决方案 一.mysql的市场占有率 二.mysql为什么受到如此的欢迎 三.mysql数据库系统的优缺点 四.网络服务器的需求 五.什么是mysql的集群 六.什么 ...

  7. 容器化|自建 MySQL 集群迁移到 Kubernetes

    背景 如果你有自建的 MySQL 集群,并且已经感受到了云原生的春风拂面,想将数据迁移到 Kubernetes 上,那么这篇文章可以给你一些思路. 文中将自建 MySQL 集群数据,在线迁移到 Kub ...

  8. mysql集群数据一致性校验

    目前,mysql在互联网行业使用地如火如荼,很多大型网站都在使用MySQL数据库,通过搭建mysql主备集群,实现高性能,高可用的存储方案.mysql集群的共同特性是通过复制来实现主备间的同步,保证主 ...

  9. MySql集群FAQ----mysql主从配置与集群区别、集群中需要多少台计算机呢?为什么? 等

    抽取一部分显示在这里,如下, What's the difference in using Clustervs using replication? 在复制系统中,一个MySQL主服务器会更新一个或多 ...

随机推荐

  1. hdu2073-2078

    hdu2073 数学 #include<stdio.h> #include<math.h> double len(double x){ )*(x+)); } int main( ...

  2. Makefile在内核编译中的使用

    1.一个配置选项选中多个文件 path:drivers/media/i2c/adv748x adv748x-objs := \ adv748x-afe.o \ adv748x-core.o \ adv ...

  3. vulcanjs 核心架构概念

    基于包的架构 为了保证系统的灵活以及可扩展,vulcanjs 使用基于包的架构设计,每一个功能都是一个包,可以方便的添加,移除 扩展.而不是修改 vulcan 的设计哲学是进行系统扩展,而不是编辑修改 ...

  4. js模板引擎之juicer,特别好用

    中文文档地址 https://www.npmjs.com/package/juicer Juicer基础知识:语法2  http://blog.163.com/lvshutao@126/blog/st ...

  5. 先进驾驶员辅助系统ADSA

    ADSA(Advanced Driver-Assistance Systems)字面翻译过来是“先进驾驶员辅助系统”,实际上它是一种“辅助驾驶员更便捷更安全使用汽车”的系统. ADAS的研发历史可以追 ...

  6. RAC1——Clusterware概念简介1

    一 集群环境下的一些特殊问题 1.1 并发控制 在集群环境中, 关键数据通常是共享存放的,比如放在共享磁盘上. 而各个节点的对数据有相同的访问权限, 这时就必须有某种机制能够控制节点对数据的访问. O ...

  7. GitHub + circleCI 自动构建/自动部署 应用

    GitHub + circleCI 自动构建/自动部署, 这里略过了单元测试,以部署 laravel 应用为例子 比起 gitlab + ansible + genkins 操作起来节省了很多硬件资源 ...

  8. mysql 微信用户昵称emoji 完整保存

    微信用户昵称现在丰富多样,一些个性的名称中经常包含有特殊字符,以及emoji表情.起先,我总以为MySQL只能保存纯文本数据.但其实mysql(5.7版本)已非常强大,完整保存微信用户昵称(emoji ...

  9. 用7z.exe 压缩整个文件夹里的内容

    以下是批处理中的内容: 7z.exe a -tzip zmv9netSrc.zip "D:\IE收藏夹备份\*"pause7z.exe a -tzip zmv9netSrc.zip ...

  10. AsyncTask使用详细说明

    AsyncTask使用: 在开发Android应用时必须遵守单线程模型的原则: Android UI操作并不是线程安全的并且这些操作必须在UI线程中执行.在单线程模型中始终要记住两条法则: 1. 不要 ...