切换至EmbeddedKafkaKraftBroker时Kafka测试失败排查

一、依赖配置问题 #

• 重复依赖导致冲突：测试依赖里重复引入了spring-kafka-test，且第二次引入的排除规则语法错误（括号位置不正确），会导致Gradle依赖解析混乱。必须合并为一次引入，统一配置排除规则。
• 版本不兼容是核心问题：Spring Kafka 3.3.4官方适配的Kafka Clients版本为3.6.x，直接升级到4.0.0会出现API不兼容、内部逻辑不匹配的问题，这大概率是测试失败的主要原因。将kafkaVersion调整为3.6.x系列（如3.6.3），与Spring Kafka版本对齐。
• 冗余依赖完全没必要：手动添加的kafka_2.13、kafka-server、kafka-storage等依赖都是多余的，spring-kafka-test已包含Kraft模式所需的所有核心依赖，单独引入只会引发版本冲突，直接删除即可。
• 修正后的测试依赖片段：

testImplementation("org.springframework.kafka:spring-kafka-test:${springKafkaVersion}") {
    exclude group: 'org.apache.zookeeper', module: 'zookeeper'
    exclude group: 'org.apache.kafka', module: 'zookeeper-jute'
    exclude group: 'org.apache.kafka', module: 'kafka_2.12' // 合并所有排除规则
}
// 移除以下所有冗余依赖：
// testImplementation("org.apache.kafka:kafka_2.13:${kafkaVersion}")
// testImplementation("org.apache.kafka:kafka-server:${kafkaVersion}")
// testImplementation("org.apache.kafka:kafka-server-common:${kafkaVersion}")
// testImplementation("org.apache.kafka:kafka-storage:${kafkaVersion}")
// testImplementation("org.apache.kafka:kafka-raft:${kafkaVersion}")

二、@EmbeddedKafka配置优化 #

• 不要手动配置Kraft核心参数：当设置kraft=true时，Spring Kafka会自动生成process.roles、controller.quorum.voters、node.id等必要参数，手动指定反而会与自动生成的值冲突，导致Broker启动失败。简化配置如下：

@EmbeddedKafka(
    partitions = 1,
    controlledShutdown = false,
    brokerProperties = {
        "auto.create.topics.enable=true"
        // 如果需要指定监听地址，推荐用随机端口避免占用问题
        // "listeners=PLAINTEXT://localhost:0,CONTROLLER://localhost:0"
    },
    kraft = true
)

• 用随机端口避免冲突：固定9092/9093端口在多测试实例或本地环境容易被占用，改用端口0（随机分配），然后通过@Value("${spring.embedded.kafka.brokers}")获取实际Broker地址，确保测试能正常连接。

三、其他检查点 #

• 确保测试类上添加了@SpringBootTest或其他能初始化Spring上下文的注解，否则@EmbeddedKafka无法被正确加载。
• 查看测试日志中的Broker启动错误信息，比如端口占用、配置冲突、依赖缺失等，这些日志能直接定位具体问题。

内容的提问来源于stack exchange，提问作者BloodFury