KafkaJs批量发送消息错误处理：单条失败是否影响其他消息？

当使用KafkaJs调用producer.send()方法向Kafka主题批量发送消息时，若消息数组中的某一条消息生产失败，是否会导致其他消息也无法被成功生产？示例代码如下：

const producer = kafka.producer()

await producer.connect()
await producer.send({
    topic: 'topic-name',
    messages: [
        { key: 'key1', value: 'hello world' },
        { key: 'key2', value: 'hey hey!' }
    ],
})

答案 #

默认配置下，单条消息失败会导致整个批次的消息都无法成功生产，具体分两种场景：

• 序列化阶段失败：如果某条消息无法被序列化（比如value是不可序列化的对象、自定义序列化器报错），send()会直接抛出错误，所有消息都不会被发送到Kafka集群。
• Broker发送阶段失败：所有消息序列化成功后，会被打包成一个批次发送给Broker。如果Broker返回批次级别的错误（比如消息大小超限、分区不可用），KafkaJs会按默认策略重试5次。若重试全部失败，send()抛出错误，整个批次的消息都不会被Broker持久化。

实现部分失败不影响其他消息的方案 #

如果需要让部分消息失败不牵连其他消息，不能直接用单批次的send()，可以：

• 将消息拆分成单个或小批次，分别调用send()，并为每个调用单独捕获错误
• 使用producer.sendBatch()方法（需注意该方法的行为细节），自行处理每个子批次的失败情况

内容的提问来源于stack exchange，提问作者sjMalik