vertica 7.0 使用kafka

config.properties
client.id设置为主机名或ip

auto.offset.reset=smallest
client.id=qas

设置环境变量

kafka_config=" --config-schema kafka_config0110  --username 数据库用户名 --password 密码 "

设置scheduler

cd /opt/vertica/packages/kafka/bin
./vkconfig scheduler --add --frame-duration "0:0:05" --brokers  IP端口1,IP端口2 --operator 用户 --resource-pool kafka_default_pool

设置clster

./vkconfig kafka-cluster --add ${kafka_config} --brokers IP端口1,IP端口2 --cluster kafka

设置topic

./vkconfig topic --add --topic topic名 --cluster kafka --target 存放表名 --target-columns 列名 ${kafka_config} --rejection-table 拒绝数据表名  --parser fjsonparser --conf config.properties --start-offset 7000

启动kafka进程

nohup ./vkconfig launch ${kafka_config}

注意的是,--start-offset是用于topic开头有脏数据的情况,能够让vertica跳过处理他们,避免hang住