Notes
Search…
Kafka

概念

消息:Kafka 的数据单元,Kafka 不理解消息内容。 元数据(键):可用于控制写入不同的分区。 消息模式:额外的接口定义消息内容。 主题:不同的消息类型。 分区:一个主题有多个分区,一个分区就是一个提交日志,消息以追加的方式写入分区,然后以 FIFO 的方式读取。所以无法在整个主题范围内保证顺序,但是可以在单个分区内保证顺序。 生产者:创建消息。默认均匀发布到一个主题的不同分区,可通过消息键发送到指定分区。 消费者:读取数据。可订阅一个或多个主题。通过偏移量来区分已经读过的数据。 消费者群组:消费者群组包含多个消费者,群组保证每个分区只能被一个消费者使用。 偏移量:一种元数据,递增的整数值。 broker:一个 Kafka 进程实例。

发送消息 Batch 机制

客户端在发送消息给 kafka 服务端时,当有多个消息需要被发送到同一个分区时,生产者会把它们放在同一个批次里,一次通过网络把 Batch 发送过去。提升了吞吐量。
  • batch.size:批次的大小。
  • linger.ms:发送批次之前等待时间,若达到时间,批次就算没满,也会发送。
问题:若没做特殊处理,这些一个个 Batch 数据发送给服务端后,就需要 GC 来回收,这样就会带来较多的 Stop the world 时间,降低性能。
解决方案:客户端缓冲池机制
客户端在开始时就申请一段内存,把这段内存划分成多块,每当需要创建一个 Batch 时就找缓冲池哪一块,Batch 用完后还回给缓冲池就行。所以这样就避免了频繁的申请内存与 JVM GC
当缓冲池满了,无法申请 Batch 时,写入操作就会被阻塞,直到有空闲内存。
Last modified 2yr ago