Kafka:'Brokerfailedtovalidaterecord'afterincreasingpartition

在Kafka中，如果在主题的分区数量增加后尝试生产新记录，则会发生“Broker failed to validate record”错误。这是由于Kafka代理在记录写入期间会验证分区和主题信息，并且在记录写入时强制执行分区与主题的配置。这些类型的错误通常在更改分区配置而无法继续进行写入时发生。

为了解决此问题，您可以使用以下代码：

//增加主题分区，并且设置分区数量参数 AdminClient adminClient = AdminClient.create(producerProps); NewPartitions newPartitions = NewPartitions.increaseTo(newPartitionCount); Map<String, NewPartitions> partitionMap = new HashMap<>(); partitionMap.put(topicName, newPartitions); adminClient.createPartitions(partitionMap).all().get();

//当生产新记录时，添加自定义分区键 ProducerRecord<String, String> record = new ProducerRecord<>(topicName, partitionKey, message);

在增加主题分区的同时，您还需要在生产新记录时添加自定义分区键。这将确保将记录写入到正确的分区。