kafka之c接口常用API------librdkafka

1 安装方法以及相关库文件

　　https://github.com/edenhill/librdkafka

2

• High-level producer
• High-level consumer
• Simple (Low-level) consumer
• 压缩：snappy, gzip, lz4
• SSL
• SASL

　　consumer有两套API，高级(high-level)和底层(simple)的，应该叫底层API或者低级API，它跟高级API的区别是没有自动负载均衡，而高级API会自动进行负载均衡。

3 kafka主要的用途

　　发数据---->producer

　　　　//发一条

　　　　rd_kafka_produce()

　　　　//发多条

　　　　rd_kafka_produce_batch()

　　收数据---->consumer

　　在收发数据之前至少需要一个统一的句柄，方便kafka内部准备好链接brokers集群，初始化kafka内部结构等

　　

　　建立这个kafka句柄需要知道连接到哪个broker

　　

　　发布消息使用rd_kafka_top_t,　

 // 对rd_kafka_topic_partition_list_t结构的操作
 // 创建
 rd_kafka_topic_partition_list_new();
 // 增加元素
 rd_kafka_topic_partition_list_add();
 // 删除元素
 rd_kafka_topic_partition_list_del();
 // 查找元素
 rd_kafka_topic_partition_list_find();

 // 对rd_kafka_topic_t的操作
 // 创建
 rd_kafka_topic_new();
 // 删除
 rd_kafka_topic_destroy();
 // 获取该topic的名字
 rd_kafka_topic_name();
 // 获取该topic传入的应用参数
 rd_kafka_topic_opaque();

 // 使用rd_kafka_topic_partition_list_t的时候，topic+partition是连在一起的，
 // 所以给kafka句柄的时候只用一个参数就够了
 // 订阅消息
 rd_kafka_subscribe (rd_kafka_t *rk,
                             const rd_kafka_topic_partition_list_t *topics);
 // 指定消费的partition，可以在运行时更换
 rd_kafka_assign (rd_kafka_t *rk,
                             const rd_kafka_topic_partition_list_t *partitions);

 // 用rd_kafka_topic_t比较麻烦，需要配合一个partition才行
 // 直接启动consumer了
 rd_kafka_consume_start(rd_kafka_topic_t *rkt, int32_t partition,
                             int64_t offset);
 // 每次接收也要带上partition
 rd_kafka_message_t *rd_kafka_consume(rd_kafka_topic_t *rkt, int32_t partition,
                             int timeout_ms);

 // 发送的时候使用 rd_kafka_topic_t
 int rd_kafka_produce(rd_kafka_topic_t *rkt, int32_t partition,
                             int msgflags,
                             void *payload, size_t len,
                             const void *key, size_t keylen,
                             void *msg_opaque);

后续用了继续做笔记，关于错误处理，topic_partition_list操作等

https://blog.csdn.net/lijinqi1987/article/details/76582067

http://suntus.github.io/2016/07/07/librdkafka--kafka%20C%20api%E4%BB%8B%E7%BB%8D/