mariadb主从架构(异步)和集群

一般应用的场所是网站,主的机器是可以写可以读,从的机器可以读,也可以写,但不会同步。只有主的机器增删改,从的机器才会同步。

主从至少三个线程:dump、I/O thread、 SQLthread

binary log:二进制日志,对于二进制文件的记录是串行(一条一条)记录。

relay log:中继日志

原理:I/O线程先读到二进制日志(Binary log),然后dump线程给I/O线程返回,返回后写入到中继日志(Relay log),而后SQL线程进行读取,实现回放。

存在这么一种情况

当我只有一台主的时候,从节点很多,这样压力全都集中到了主的身上,这样对主的性能产生了很大的影响,如何解决???

blackhole引擎的特点:不能读,不能写。就利用这个特点只存储二进制文件。

延迟

  延迟有好有坏,当我有大量的数据进入数据时,我的二进制日志是不能同时完成的,因为它是串行的就是一条一条执行,这样,主节点就会造成延迟,主节点已经延迟了,那么从节点在读取二进制日志的时候,就更延迟了。

好处:在我误操作的时候,可以先切断主从之间的连接,而后利用延迟从主节点修改我的误操作,力挽狂澜!!!

异步:我给你发一个请求,你无须给我返回请求,我只是给你发送请求,好处是效率高,坏处是安全性低。

时时同步:我给你发一个请求,你必须给我返回一个信号,我才进行我下面的事情,好处是安全性高,缺点是效率低。

主节点存在单点故障隐患,如何排除?

第一种方案:

MHA 主机高可用,一般布置在另外一台机器上

通过MHA监控主从状态。当一个主节点死掉之后,会根据MHA的机制,从后端的从机器里调出一台成为主。

如何监控:通过一个配置文件。

第二种方案:适合增删改较少的。

互为主备(主主架构)这种架构会造成数据的不一致。

相互有二进制文件即可。

第三种方案:

galera集群:一条事物同时提交(时时同步)

主从架构的配置

主节点:

mysql主从配置
yum配置
[mariadb]
name=MariaDB
baseurl=http://mirrors.ustc.edu.cn/mariadb/yum/10.3/centos7-amd64/
gpgkey=http://mirrors.ustc.edu.cn/mariadb/yum/RPM-GPG-KEY-MariaDB
gpgcheck= 服务器1: MariaDB01 192.168.24.8
服务器2: MariaDB02 192.168.24.9
操作系统: CentOS7.
数据库版本: MariaDB-10.3.
主从关系: MariaDB01为主,MariaDB02为从 MariaDB01
. 修改配置文件
vi /etc/my.cnf.d/server.cnf
在[mysqld]下加入以下
server-id=
log-bin=mysql-bin . 重启mysql服务
service mysqld restart .创建主从连接帐号与授权
CREATE USER 'slave'@'%' IDENTIFIED BY 'slave';
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%';
flush privileges; .show master status

从节点:

MariaDB02
. 修改配置文件
vi /etc/my.cnf.d/server.cnf
server-id=
. 重启mysql服务
service mysqld restart .登录数据库
mysql -uroot -proot4. 建立主从连接
CHANGE MASTER TO MASTER_HOST='192.168.24.8', MASTER_USER='slave', MASTER_PASSWORD='slave', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=;
start slave; .验证!!!
create database test01
use test01
create table students(id int(), name char(), age int())
之后查看从节点是否有test01数据库和students表 .查看mysql二进制log
mysqlbinlog /var/lib/mysql/mysql-bin. #如果出现不同步可以执行以下步骤
stop slave
set GLOBAL SQL_SLAVE_SKIP_COUNTER=;
start slave
或者
stop slave;
mysql> change master to
master_host='192.168.24.8',
master_user='user',
master_password='pwd',
master_port=,
master_log_file='mysql-bin.000008',
master_log_pos=;
start slave show slave status\G 这是用竖列的方式查看这两个线程有没有启动

mariadb galera集群(时时同步)

多主的概念:哪个都是老大

对于一条事物,同时提交,几乎无延迟。缺点性能会下降。缺点是必须得保证机器硬件的一致。不了会影响效率。

如何实现同步?

通过wsrep协议进行同步。端口号为4567

配置galera集群

第一步:设置主机名host解析,三台节点都要设置,能互相解析到ip加主机名。

vim /etc/host

ip node1

ip node2

ip node3

第二步:关闭三台机器的mariadb

第三步:打开mariadb配置文件

vim /etc/my.cnf.d/server.cnf

wsrep_on=ON

wsrep_provider=/usr/lib64/galera/libgalera_smm.so     #galera的库文件的地址

wsrep_cluster_address="gcomm://ip1,ip2,ip3"   #各节点的ip

wsrep_node_name=node1             #节点主机名  

wsrep_node_address=本机ip                 #本机节点ip

binlog_format=row            #二进制日志设置为行模式

row模式 行模式是安全性最高的,但性能是最低的

语句模式

折中模式

default_storage_engine=InnoDB    #使用的默认引擎

innodb_autoinc_lock_mode=      #性能最好

wsrep_slave_threads=              #并行复制线程数

innodb_flush_log_at_trx_commit=   #.log buffer(缓存)将每秒一次地写入log file中,并且log file的flush(刷到磁盘)操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。

                     #:每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去,该模式为系统默认。

                      #:每次事务提交时MySQL都会把log buffer的数据写入log file,但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作

innodb_buffer_pool_size=120M       #设置缓存池大小

wsrep_sst_method=rsync             #远程同步

wsrep_causal_reads=ON         #避免各个节点的数据不一致,这种情况需要等待全同步复制

将此文件复制到mariadb-、mariadb-,注意要把 wsrep_node_name 和 wsrep_node_address 改成相应节点的 hostname 和 ip。

第四步:启动集群服务

启动 MariaDB Galera Cluster 服务:

第一次启动要用初始化:mysqld_safe --wsrep_cluster_address=gcomm://ip1,ip2,ip3 >/dev/null &

/bin/galera_new_cluster

如果galera_new_cluster 报错

vim /var/lib/mysql/grastate.dat

把safe_to_bootstrap更改为1

# GALERA saved state

version: 2.1

uuid:    a393feef-f639-11e8-9b89-4e75f9b8fb0f

seqno:   -

safe_to_bootstrap: 

第五步:查看端口4567和3306是否启动,把其余节点的mariadb启动,开始测试glare集群是否搭建成功。

galera命令(数据库中使用)

show status like "wsrep_ready";  查看glarea是否启动

show status like "wsrep_cluster_size";  目前集群机器数

show status like "wsrep%"; 查看集群状态

show status like "wsrep_incoming_addresses"; 查看链接的主机ip

mariadb主从架构的更多相关文章

  1. 使用python3脚本部署mariadb主从架构

    环境准备 一个脚本自动部署master服务 另一个部署slave服务 关闭主从节点的防火墙 以及事先设置好root远程登陆的权限. master import paramikossh=paramiko ...

  2. 使用python脚本部署mariadb主从架构

    环境准备 一个脚本自动部署master服务 另一个部署slave服务 关闭主从节点的防火墙 以及事先设置好root远程登陆的权限. grant all on *.* to root@'%'  iden ...

  3. python部署mariadb主从架构

    主机部署: import configparser import os def config_mariadb_yum(): exists = os.path.exists('/etc/yum.repo ...

  4. Mariadb 主从

    一 mariadb主从多用于网站架构,因为该主从的同步机制是异步的,数据的同步有一定延迟,也就是说有可能会造成数据的丢失,但是性能比较好,因此网站大多数用的是主从架构的数据库,读写分离必须基于主从架构 ...

  5. Docker部署Zabbix监控MariaDB主从同步(Percona Monitoring Plugins for Zabbix)

    一.安装Docker并部署Zabbix 建议先配置清华大学的docker-ce yum源,速度有保障:清华大学repo源 1.Zabbix Server节点配置 部署环境: [root@server0 ...

  6. 使用python3搭建Linux-mariadb主从架构

    环境准备两台: 192.168.193.90 master 192.168.193.91 slave 需要Linux装python环境: https://www.cnblogs.com/kingzhe ...

  7. mysql基础之mysql主从架构

    一.概念 主从多用于网站架构,因为主从的同步机制是异步的,数据的同步有一定延迟,也就是说有可能会造成数据的丢失,但是性能比较好,因此网站大多数用的是主从架构的数据库,读写分离必须基于主从架构来搭建 二 ...

  8. MySQL 主从架构配置详解

    无论是哪一种数据库,数据的安全都是至关重要的,因此熟练掌握数据库的安全备份功能,是作为开发人员,特别是后端开发人员的一项必备技能.MySQL 数据库内建的复制功能,可以帮助我们对数据进行异地备份,读写 ...

  9. 【高并发架构】Redis缓存高并发之-主从架构

    Redis主从架构 到目前为止,Redis Cluster 能实现很好的性能,但如果只是缓存几个G的数据,那么单机Redis就足够了,但缓存主要用来读的,单机的QPS有一定的极限,一两万QPS一台应该 ...

随机推荐

  1. 深入理解android的UI更新机制

    深入理解android的UI更新机制 由问题开始: 如何更新android UI? 可以通过如下方法: 在主线程里直接操作UI控件. handler.post(Runnable) runOnUiThr ...

  2. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

    1. 摘要 作者提出了一系列应用于移动和嵌入式视觉的称之为 MobileNets 的高效模型,这些模型采用深度可分离卷积来构建轻量级网络. 作者还引入了两个简单的全局超参数来有效地权衡时延和准确率,以 ...

  3. 使用Android自带的资源

    Android自带的资源文件有 :https://developer.android.google.cn/reference/android/R.html 代码中使用如下: 1.查看源代码的资源文件 ...

  4. 请描述一下 BroadcastReceiver?

    BroadCastReceiver 是 Android 四大组件之一,主要用于接收系统或者 app 发送的广播事件. 广播分两种:有序广播和无序广播. 内部通信实现机制:通过 Android 系统的 ...

  5. Linux 查找当前目录下 包含特定字符串 的所有文件

    使用 Linux 经常会遇到这种情况:只知道文件中包含某些特定的字符串,但是不知道具体的文件名.需要根据“特定的字符串”反向查找文件. 示例(路径文件如下): ./miracle/luna/a.txt ...

  6. Java基础面试题集(二)

    Java程序员面试题集(1-50) 一.Java基础部分 1.面向对象的特征有哪些方面? 答:面向对象的特征主要有以下几个方面: 1)抽象:抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象 ...

  7. Hibernate 持久化对象和一级缓存

    关于如何手动创建Hibernate,Hibernate初了解已经介绍了,接下来了解持久化对象和一级缓存. Hibernate的持久化类有三种状态: 1.Transient瞬时态:持久化对象没有唯一标识 ...

  8. LeetCode.937-重新排序日志数组(Reorder Log Files)

    这是悦乐书的第358次更新,第385篇原创 01 看题和准备 今天介绍的是LeetCode算法题中Easy级别的第220题(顺位题号是937).你有一系列日志.每个日志都是以空格分隔的单词串. 每个日 ...

  9. 应用安全 - 工具 | 平台 -webmin - 漏洞 - 汇总

    简介 开发语言 PHP 用途系统管理 CVE-2019-15642 Date2019.7 类型远程代码执行 影响范围Webmin <= 1.920 复现POC|EXPOBJECT Socket; ...

  10. 【神经网络与深度学习】深度学习实战——caffe windows 下训练自己的网络模型

    1.相关准备 1.1 手写数字数据集 这篇博客上有.jpg格式的图片下载,附带标签信息,有需要的自行下载,博客附带百度云盘下载地址(手写数字.jpg 格式):http://blog.csdn.net/ ...