20180530利用Maxwell组件实时监听Mysql的binlog日志

转自：https://blog.csdn.net/qq_30921461/article/details/78320750

http://kafka.apache.org/quickstart

http://maxwells-daemon.io/quickstart/

文档主题：

如何使用Maxwell实时监听Mysql的binlog日志，并且把解析的json格式数据发送到kafka窗口

具体步骤

一：在linux环境下安装部署好mysql

1 开启binlog

sudo vi /etc/my.cnf

2 mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed）

server-id=1

log-bin=master（这一步开启binlog）

binlog_format=row

3重启msyql服务

sudo service mysqld restart

4查看是否已经开启binlog

Mysql>show variables like '%log_bin%';

此时，可以在目录/var/lib/mysql下看到生成了相应的binlog监听日志文件，如图，master.000001文件，每次重启msyql服务，就会生成一个新的监听文件

第二大步骤：配置Maxwell相关的部署工作

1下载Maxwell

官网

http://maxwells-daemon.io/

组件下载链接

https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz

2 安装Maxwell

tar-zxf maxwell-1.10.6.tar.gz -C ../modules/

3给mysql授权

mysql> GRANT ALL on maxwell.* to'maxwell'@'%' identified by 'XXXXXX';

mysql> GRANT SELECT, REPLICATION CLIENT,REPLICATION SLAVE on *.* to 'maxwell'@'%';

以上图片为官网参考

以我自己的为例：

GRANTALL on *.* to 'user01'@'%' identified by '123456';

把所有数据库的所有表授权给user01用户以密码123456登录

GRANTSELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'user01'@'%';

flushprivileges;

4开启maxwell命令行（注意，如果没有设置，maxwell默认是把监听的mysql的binlog日志发送到kafka的主题叫maxwell的topic上的）

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' \

   --producer=kafka --kafka.bootstrap.servers=localhost:9092

以上为官网参考，我自己的具体的demo

bin/maxwell --user='user01' --password='123456'--host='192.168.136.129' --producer=kafka --kafka.bootstrap.servers=mw:9092解释：host参数是安装mysql的那台主机，最后的kafka.bootstrap.servers是安装kafka集群的节点主机名和端口号

第三大步骤，kafka相关配置

说明（以下我的kafka是安装在主机名叫mw，注意kafka里的配置文件端口号要和命令行里给的端口号一致）

1首先启动zookeeper

$sbin/zkServer.sh start

2开启kafka命令行

bin/kafka-server-start.shconfig/server.properties

3创建一个主题叫maxwell以便于接受数据

bin/kafka-topics.sh--create --zookeeper mw:2181 --replication-factor 1 --partitions 1 --topic maxwell

4启动生产者窗口

bin/kafka-console-producer.sh--broker-list mw:9092 --topic maxwell

5启动消费者窗口

bin/kafka-console-consumer.sh--zookeeper mw:2181 --topic maxwell --from-beginning

第四大步：最终测试

此时，mysql的binlog已经开启，maxwell命令行也开启，kafka的生产者消费者窗口也开启在监听

开始往mysql里插入修改数据

通过写的jdbc写的多线程程序批量插入修改数据的程序造数据

此时，查看kafka的消费者窗口。可以看到，mysql插入修改的数据，以json形式被maxwell发送到了kafka以maxwell主题命名的窗口里

第五额外补充

1在第三大步骤里的第四小步开启maxwell命令行时，可以多跟几个参数对mysql的binlog进行过滤，只筛选某些数据库里的某些表

include_dbs，exclude_dbs，include_tables，exclude_tables

2注意点：kafka的安装版本要和maxwell兼容适应，不然会报错

Kafka clients 0.8 and 0.9 are compatible with brokers running kafka 0.8.
0.10.0.x clients only support 0.10.0.x or later brokers.
Mixing Kafka 0.10 with other versions can lead to serious performance impacts.

还可以使用https://blog.csdn.net/xf_87/article/details/70146810

第二种途径进行解析binlog