kafka零数据丢失的配置方案

讨论一下kafka参数的配置

1、acks 参数配置

acks这个参数有三个值：0，1，-1，但是不用的参数对应的含义不同，那如果我们想要保证数据不丢失，acks 值应该设置为哪个参数呢？

0：代表生产者只要把消息发送出去以后就认为消息发送成功了，这种方式有可能会导致数据丢失，因为有可能消息发送到服务端以后服务端存储失败了。

1：代表生产者把消息发送到服务端，服务端的 leader replica 副本写成功以后，就返回生产者消息发送成功了，这种方式也有可能导致丢数据，因为有可能刚好

数据写入到leader replica，然后返回处理成功的响应给生产者，假如这个时候leader replica 在的服务器出问题了，follower replica 还没来得及同步数据，这个时候是会

丢失数据的。

-1（all）：代表生产者把消息发送到服务端，服务端的ISR列表里所有的 replica都写入成功以后，才会返回成功响应给生产者。

假设ISR列表里面有该分区的三个replica（一个leader replica，两个follower replica ），那么acks=-1 就意味着消息要写入到 leader replica，并且两个 follower replica从

leader replica 上同步数据成功，服务端才会给生产者发送消息 发送成功的响应。

所以ISR列表里面的replica 就非常关键。如果我们想要保证数据不丢，那么acks的值设置为-1，并且还需要保证ISR列表里面是1个副本以上。

所以 acks的值要设置为-1。

2、ISR到底指的是什么东西？

既然大家已经知道了Partition的多副本同步数据的机制了，那么就可以来看看ISR是什么了。

ISR全称是 "In-Sync Replicas"，也就是保持同步的副本，它的含义就是，跟leader 始终保持同步的 follower有哪些。

大家可以想一下，如果说某个follower所在的broker因为JVM Full GC之类的问题，导致自己卡顿了，无法及时从Leader拉取同步数据，那么是不是会导致Follower

数据被Leader要落后很多？

所以这个时候，就意味着follower已经跟leader不再处于同步的关系了。但是只要follower一直及时从leader同步数据，就可以保证他们是处于同步的关系的。

所以每个Partition 都有一个ISR，这个ISR里一定会有Leader自己，因为Leader肯定数据是最新的，然后就是那些跟Leader保持同步的follower，也会在ISR里。

3、kafka的存储机制

由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，kafka采取了分片和索引机制。

它将每个partition 分为多个 segment，每个segment对应两个文件：".index"索引文件和 ".log" 数据文件。（一个分区下面有多个log文件，每个log文件大概有1G）

这些文件位于同一文件下，该文件夹的命名规则为 topic 名 - 分区号。

例如：first 这个topic 有三个分区，则其对应的文件夹为 first-0，first-1，first-2。

index和log 文件以当前 segment 的第一条消息的 offset命名。下图为 index文件和log文件的机构示意图：

.index 文件存储大量的索引信息， .log文件存储大量的数据，索引文件中的元数据指向对应数据文件中 Message 的物理偏移量。

4、kafka的 zero-copy 零拷贝技术

在kafka中消息存储模式中，数据存储在底层文件系统中。当有Consumer订阅了相应的topic消息，数据需要从磁盘中读取然后将数据写回到套接字中（socket）。

此动作看似只需较少的cpu活动，但它的效率非常低。首先内核读出全盘数据，然后将数据跨越内核用户推到应用程序，然后应用程序再次跨越内核用户将数据推回，

写出到套接字。应用程序实际上在这里担当了一个不怎么高效的中介角色，将磁盘文件的数据转入套接字。

数据每遍历用户内核一次，就要被拷贝一次，这会消耗CPU周期和内存带宽。幸运的是，您可以通过一个 零拷贝 的技巧来消除这些拷贝。

使用零拷贝的应用程序要求内核直接将数从磁盘文件拷贝到套接字，而无需通过应用程序。零拷贝不仅大大的提高了应用程序的性能，

而且还减少了内核与用户模式间的上下文切换。

java 类库通过 java.nio.channels.FileChannel 中的 transferTo() 方法来在 Linux和Unix系统上支持零拷贝。可以使用transferTo() 方法直接将

字节从它被调用的通道上传输到另外一个可写字节通道上，数据无需流经应用程序。