ClickHouse之物化MySQL

Creates ClickHouse database with all the tables existing in MySQL, and all the data in those tables.

ClickHouse server works as MySQL replica. It reads binlog and performs DDL and DML queries.

This feature is experimental.

使用 MySQL 中存在的所有表以及这些表中的所有数据创建 ClickHouse 数据库。

ClickHouse 服务器用作 MySQL 副本。它读取 binlog 并执行 DDL 和 DML 查询。

此功能是实验性的。

目前 MaterializeMySQL database engine 还不支持表级别的同步操作，需要将整个mysql database映射到clickhouse，映射过来的库表会自动创建为ReplacingMergeTree表engine。

MaterializeMySQL 支持全量和增量同步，首次创建数据库引擎时进行一次全量复制，之后通过监控binlog变化进行增量数据同步；该引擎支持mysql 5.6/5.7/8.0版本数据库，兼容insert，update，delete，alter，create，drop，truncate等大部分DDL操作。

　　

特点
（1） MaterializeMySQL 同时支持全量和增量同步， 在 database 创建之初会全量同步MySQL 中的表和数据， 之后则会通过 binlog 进行增量同步。
（ 2） MaterializeMySQL database 为其所创建的每张 ReplacingMergeTree 自动增加了_sign 和 _version 字段。
其中， _version 用作 ReplacingMergeTree 的 ver 版本参数， 每当监听到 insert、 update和 delete 事件时， 在 databse 内全局自增。而 _sign 则用于标记是否被删除，取值 1 或者 -1。
目前 MaterializeMySQL 支持如下几种 binlog 事件:
➢ MYSQL_WRITE_ROWS_EVENT: _sign = 1， _version ++
➢ MYSQL_DELETE_ROWS_EVENT: _sign = -1， _version ++
➢ MYSQL_UPDATE_ROWS_EVENT: 新数据 _sign = 1
➢ MYSQL_QUERY_EVENT: 支持 CREATE TABLE 、 DROP TABLE 、 RENAME TABLE 等。

1.修改my.cnf开启mysql binlog模式

log-bin=/data/logs/mysql/mysql-bin.log  # 指定binlog日志存储位置
binlog_format=ROW  # 这里一定是row格式
server-id=1  
#clickhouse20.8之后版本,开启gtid,可以在mysql主从模式下保证数据同步一致性
gtid-mode=on
enforce-gtid-consistency=1    # 设置为主从强一致性
log-slave-updates=1   # 记录日志

查看Binlog是否开启

show variables like 'log_bin';

2.新建表

mysql> CREATE DATABASE db;
mysql> CREATE TABLE db.test (a INT PRIMARY KEY, b INT);
mysql> INSERT INTO db.test VALUES (1, 11), (2, 22);
mysql> DELETE FROM db.test WHERE a=1;
mysql> ALTER TABLE db.test ADD COLUMN c VARCHAR(16);
mysql> UPDATE db.test SET c='Wow!', b=222;
mysql> SELECT * FROM test;

3.登录clickhouse, 开启mysql物化引擎

clickhouse-client -u default --password default

SET allow_experimental_database_materialized_mysql = 1
# 因为该功能目前还处于实验阶段，在使用之前需要开启

4.创建爱你一个复制管道

CREATE DATABASE mysql ENGINE = MaterializeMySQL('localhost:3306', 'db', 'root', '***');
其中四个参数分别是: MySQL地址, database,username,password

SHOW TABLES FROM mysql;

5.查看数据, 进行clickhouse中数据操作会同步数据

select *,_sign,_version from t_organization order by _sign desc,_version desc;

在查询时，对于已经被删除的数据， _sign=-1， ClickHouse 会自动重写 SQL，将 _sign = -1 的数据过滤掉;

对于修改的数据，则自动重写 SQL，为其增加 FINAL 修饰符。
select * from t_organization
等同于
select * from t_organization final where _sign = 1

注意点:

物化MySqL的前提是：数据库里的表都是有主键的！！！