Kafka Connect学习

一、基础介绍

1、概念

2、Debezium

为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。可以消费数据库每一个行级别(row-level)的更改。

只有已提交的更改才是可见的，无需担心回滚，用持久化的、有副本备份的日志来记录数据库数据变化的历史

捕获数据更改(CDC)平台，并且利用Kafka和Kafka Connect实现了自己的持久性、可靠性和容错性。

确保所有这些数据更改事件都能够多副本并且总体上有序

所有的数据库或者表的更改事件是按照上游数据库发生的顺序被交付的

每个应用可以直接监控数据库的更改，并且响应更改，无需使用消息总线

3、confluent：基于Kafka Connect技术，实现多种数据源格式导入导出的工具平台，组织管理来自不同数据源的数据

是kafka的企业版，内部包含了kafka、zookeeper、Kafka-rest（Confluent提供的Kafka RESTful接口服务组件）、Schema-Registry（对数据schema进行管理和序列化操作）、connect（用于连接Kafka与外部系统（如数据库，键值存储，检索系统索引和文件系统）的框架）、ksql-server（对数据进行查询），在Kafka connect基础上实现了多种常用系统的connector，用来管理和组织不同数据源的流媒体平台，可以实时地把不同源和位置的数据集成到一个中心的事件流平台。

4、MySQL的binlog

二、MongoDB