Kafka Testcontainer首次启动时无法消费主题数据，问题具有不确定性

我完全懂这种抓不到头绪的感觉！先帮你梳理下这个问题的核心，再给几个实际能排查的方向：

首先，你提到的那个警告日志其实不是“没有消费位置信息”，它的真实含义是消费者请求主题元数据时，Kafka还没为这个主题的分区分配好Leader节点——这在Testcontainer首次启动Kafka时特别常见，因为容器启动不代表内部的Broker服务已经完全初始化完成。

2024-10-31 11:07:52.111 WARN org.apache.kafka.clients.NetworkClient : [Consumer clientId=consumer-whateverGroup-2, groupId=whateverGroup] Error while fetching metadata with correlation id 2 : {whateverTopicName=LEADER_NOT_AVAILABLE}

而第二次测试能正常运行，是因为Kafka容器已经完全启动，所有主题的元数据、分区Leader都已经就绪，自然不会有这个问题。

下面是几个能解决这个问题的思路：

1. 给Kafka加“就绪等待”逻辑 #

Testcontainer的start()方法返回只是容器启动了，但Kafka内部的Broker、元数据加载还需要时间。你可以在主题创建完成后，加一段等待逻辑，直到确认主题的所有分区都有可用的Leader：

• 用AdminClient循环调用describeTopics()，检查目标主题的每个分区的leader字段不为null；
• 或者用Testcontainer的内置等待策略，比如等待Kafka的9092端口就绪，或者执行kafka-topics.sh --describe --topic whateverTopicName命令，直到命令返回正常结果。

举个简单的Java示例（伪代码）：

AdminClient adminClient = AdminClient.create(adminProps);
// 等待主题分区就绪
boolean isTopicReady = false;
int retryCount = 0;
while (!isTopicReady && retryCount < 10) {
    DescribeTopicsResult result = adminClient.describeTopics(Collections.singletonList("whateverTopicName"));
    Map<String, TopicDescription> topicDescMap = result.all().get(5, TimeUnit.SECONDS);
    TopicDescription desc = topicDescMap.get("whateverTopicName");
    isTopicReady = desc.partitions().stream().allMatch(p -> p.leader() != null);
    if (!isTopicReady) {
        Thread.sleep(1000);
        retryCount++;
    }
}

2. 调整Kafka Testcontainer的启动配置 #

单节点Kafka集群需要确保复制因子设置为1，否则内部的__consumer_offsets主题（用来存储消费者组偏移量）无法正常创建，会间接导致主题Leader分配失败。你可以在创建Testcontainer时添加这些环境变量：

KafkaContainer kafka = new KafkaContainer(DockerImageName.parse("confluentinc/cp-kafka:6.1.1"))
    .withEnv("KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR", "1")
    .withEnv("KAFKA_DEFAULT_REPLICATION_FACTOR", "1")
    .withEnv("KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR", "1");

3. 优化消费者的元数据刷新配置 #

消费者默认的元数据刷新间隔是5分钟（metadata.max.age.ms=300000），首次启动时如果没拿到有效元数据，会一直等很久。你可以把这个值改小，让消费者更快刷新元数据：

consumer.properties:
metadata.max.age.ms=3000

4. 主题创建后不要立刻生产消费 #

哪怕AdminClient返回主题已创建，Kafka还需要几秒时间完成分区的Leader选举和元数据同步。你可以在主题创建后，主动等待2-3秒再执行生产消费操作，虽然有点笨，但很多时候能解决这类初始化时序问题。

总结下来，这个问题本质是首次启动时Kafka的初始化时序问题——容器启动和Broker服务就绪之间有时间差，而你的测试代码没有等这个时间差就开始操作，导致消费者拿不到有效主题元数据，自然无法消费数据。

备注：内容来源于stack exchange，提问作者Martin Mucha