Kafka生产者与Broker空闲期是否存在心跳/保活机制？

问题描述 #

已知Kafka Consumer与Broker在空闲（未发送业务消息）期间会交换Heartbeat消息，该机制由librdkafka的heartbeat.interval.ms参数控制。请问Kafka Producer与Broker之间是否采用类似的心跳消息机制？
若存在：

1. 此类心跳TCP包的内容是什么？或是无负载的TCP包？
2. 在librdkafka中，控制心跳间隔及最大允许心跳丢失次数的配置项是什么？
   若不存在：
   部分防火墙规则会断开空闲TCP连接，该如何处理？是否存在一种机制可让Producer发送消息但不写入Topic？

回答 #

Kafka Producer与Broker之间不存在类似Consumer的应用层Heartbeat心跳机制。

librdkafka作者在2017年曾明确说明：

Kafka协议并没有一种低成本或无副作用的方式来对空闲连接进行“心跳”（请勿与Consumer的HeartbeatRequest混淆）

针对空闲连接被防火墙断开的问题，可采用以下方案处理：

• 启用TCP层保活：librdkafka提供了socket.keepalive.enable配置项，开启后会激活套接字的SO_KEEPALIVE属性，通过TCP层面的保活包维持空闲连接，避免防火墙因连接空闲而断开。该配置项早在2015年就已添加到librdkafka中。
• 目前不存在让Producer发送消息但不写入Topic的有效机制：Kafka协议设计中，Producer发送的消息必须关联具体Topic，没有专门的“无写入”心跳消息类型，强行发送这类消息反而会带来不必要的存储与处理开销。

内容的提问来源于stack exchange，提问作者aKumara