kafka连接器

独立模式

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

connect-file-source.properties：

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=test.txt
topic=connect-test

connect-file-sink.properties

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=test.sink.txt
topics=connect-test

上面命令，创建了两个connect，一个从test.txt读取数据到名为connect-test的topic，另一个从connect-test读取数据写入到test.sink.txt。其中test.txt和test.sink.txt文件都在kafka的安装目录下

操作

1）先往test.txt中写入数据

echo 'test' > test.txt

2）开启connect

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

3）这时会发现kafka安装目录下会有个test.sink.txt文件。cat后会看到test.txt的内容已经写入到test.sink.txt中了

问题

遇到的几个问题目前不知道是什么原因，欢迎大家在评论里说明下

1）如果直接vim test.txt会发现没法将内容传入到topic中

2）vim test.txt后，再echo 内容到test.txt也会导致内容无法写入到topic中。需要重新启动connect才行