spring cloud stream 经验总结

---恢复内容开始---

基本概念

spring:
  cloud:
    stream:
      kafka:
        binder:
          brokers: cloudTest:19092
          zk-nodes: cloudTest:22182
          auto-create-topics: true
      bindings:
        output:
          destination: simpleTest
          content-type: text/plain
          producer:
            partitionCount: 1

做类比的话binder就类似于connection，而bindings就是topic，其中destination就是消息队列中的。
spring会对很多东西做出自己的封装。有些不错。有些就做些类比就好了。

关于具体channel的配置有两类。比如channel input
一类是通用配置。路径是spring.cloud.bindings.input
一类是kafka专用配置。路径是spring.cloud.kafka.bindings.input,然后官方指导上面的文章上面default不太对。我试下来是下面的路径

spring:
  cloud:
    stream:
      kafka:
        default:
          consumer:
            autoCommitOffset: false

或者说官方的意思，可能说想、是同级别下面的defualt的意思吧。

MessageConverter

MessageConverter最大的一个坑就是网络上很多google到的教程。往往已经过时，比如开始的时候是在配置项里面baeldung里面很多配置，现在已经过时。现在只要配置一个bean。注入就好。
其他的看看文档就好。

看了一下代码，MessageConverter是通过content-type这个配置项来捞的。

Avro

关于Avro，就是需要一个schema-registy服务器。简单的来书，就是共享schema的地方。其实这个话题，是Avro的话题。
回到spring的话，spring自己做了一个schma的服务器。那么你用两种选择

用spring的。然后配置@EnableSchemaRegistryServer新建一个boot的application，然后在client端配置@EnableSchemaRegistryClient就好
用Confluent的话，像下面配置就好。然后记住默认的content type是application/*+avro

@Bean
public SchemaRegistryClient schemaRegistryClient(@Value("${spring.cloud.stream.schemaRegistryClient.endpoint}") String endpoint){
  ConfluentSchemaRegistryClient client = new ConfluentSchemaRegistryClient();
  client.setEndpoint(endpoint);
  return client;
}

如果开发目的呢。我建议还是用Confluent，然后弄个docker container就好。就是方便而已。

offset

获取offset: Long offset = message.getHeaders().get(KafkaHeaders.OFFSET, Long.class);

手动提交的配置

spring:
  cloud:
    stream:
      kafka:
        bindings:
          input:
            consumer:
              autoCommitOffset: false
      bindings:
        input:
          destination: textPlain
          group: s1

关于手动提交的
一开始的时候，按照官方的手动提交的例子，我发觉一直获得的Acknowledge一直为Null。然后细看了配置，才发现原来源于kafka的配置，要写在kafka下面。我觉得这个设计还是挺操蛋的。
然后关于meesage的meta data。其实都藏在header里面，可以通过KafkaHeaders来取。
不过关于这点，我觉得还有一个问题，就是commit offset。其实也可以通过那个从header里面来获得customer对象来获得，我发觉commit相关的api都在。估计一个是spring的封装。一个是原生吧

resume

基本没什么特别

@Slf4j
@Component
public class RebalancedListener implements KafkaBindingRebalanceListener {

    @Override
    public void onPartitionsAssigned(String bindingName,
                                     Consumer<?, ?> consumer,
                                     Collection<TopicPartition> partitions,
                                     boolean initial) {

        partitions.forEach(
                p -> consumer.seek(p, offset)
        );

    }
}

@StreamListener

condition

尽管来说支持spel表达式。如果读取payload的话，payload是之前的。所以最好加在heeders里面。

有用的代码入入口

NetworkClient-initiateConnect: 用来看kafka到底是怎么连接到那里。
- 由于kafka的机制问题。经常会有很多的地址。有时候一个配置错误，不知道哪里错了。就可以看这里。有一次，我把127和172搞错了。花了一个下午
SmartMessageMethodArgumentResolver-convertPayload： message to pojo的入口
- 可以看看你配置的MessageConverter到底有没有作用
- 可以看看到底message的二进制字节码
OutboundContentTypeConvertingInterceptor-doPreSend: pojo to message的入口
- 和上面一个正好相对
  
  ---恢复内容结束---