kafka 如何不消费重复数据？比如扣款，我们不能重复的扣?

其实还是得结合业务来思考，我这里给几个思路：

比如你拿个数据要写库，你先根据主键查一下，如果这数据都有了，你就别插入

了，update 一下好吧。

比如你是写 Redis，那没问题了，反正每次都是 set，天然幂等性。

比如你不是上面两个场景，那做的稍微复杂一点，你需要让生产者发送每条数据

的时候，里面加一个全局唯一的 id，类似订单 id 之类的东西，然后你这里消费

到了之后，先根据这个 id 去比如 Redis 里查一下，之前消费过吗？如果没有消

费过，你就处理，然后这个 id 写 Redis。如果消费过了，那你就别处理了，保

证别重复处理相同的消息即可。

比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束

了，重复数据插入只会报错，不会导致数据库中出现脏数据。