升级Kafka至2.x后使用EmbeddedKafkaRule启动UT失败求助

从你的报错信息和依赖树来看，问题的核心是Kafka相关依赖版本不兼容+冲突，结合你之前旧版本运行正常的情况，下面是具体的诊断和解决方案：

问题诊断 #

1. 版本断层的核心冲突：

   • 你使用的spring-kafka-test:2.2.4.RELEASE官方适配Kafka 2.0.x版本，但你的kafka-clients被Confluent的2.1.1-cp1强制替换，同时kafka_2.11是2.0.0版本——Kafka 2.x对broker和客户端的版本一致性要求比旧版本严格很多，跨小版本的混合使用会导致启动逻辑出错，无法正确生成meta.properties文件。
   • Confluent 5.1.2对应Kafka 2.1.x版本，而你的spring-kafka版本（2.2.x）仅支持Kafka 2.0.x，这就形成了版本适配断层。

2. 临时目录的潜在干扰：
   虽然旧版本运行正常，但Kafka 2.x对日志目录的初始化逻辑有调整，Windows临时目录的残留文件或权限偶尔也会触发这个报错，但这是次要问题，优先解决版本冲突。

解决方案 #

第一步：统一所有Kafka相关依赖版本 #

你需要让spring-kafka、Kafka broker、Kafka clients、Confluent组件的版本完全对齐：

• Confluent 5.1.2对应Kafka 2.1.x，所以需要将spring-kafka升级到2.3.x版本（spring-kafka 2.3.x官方适配Kafka 2.1.x）。
• 强制排除spring-kafka和spring-kafka-test中自带的Kafka依赖，统一使用Confluent的2.1.1-cp1版本。

下面是Maven pom.xml的示例配置：

<!-- Spring Kafka 适配Kafka 2.1.x -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.3.10.RELEASE</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
        </exclusion>
        <exclusion>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<!-- Spring Kafka Test 同样适配Kafka 2.1.x -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka-test</artifactId>
    <version>2.3.10.RELEASE</version>
    <scope>test</scope>
    <exclusions>
        <exclusion>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
        </exclusion>
        <exclusion>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<!-- 统一使用Confluent的Kafka版本 -->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.11</artifactId>
    <version>2.1.1-cp1</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.1.1-cp1</version>
</dependency>

<!-- Confluent组件版本保持5.1.2，和Kafka 2.1.x兼容 -->
<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-avro-serializer</artifactId>
    <version>5.1.2</version>
</dependency>

第二步：优化EmbeddedKafkaRule配置 #

为了避免临时目录残留文件干扰，你可以手动指定唯一的日志目录，并确保测试结束后清理：

@ClassRule
public static EmbeddedKafkaRule embeddedKafka = new EmbeddedKafkaRule(1, true, SENDER_TOPICS.toArray(new String[0]))
        // 指定唯一的临时日志目录，避免重复使用旧目录
        .brokerProperty("log.dirs", System.getProperty("java.io.tmpdir") + "/kafka-test-" + System.currentTimeMillis());

@AfterClass
public static void cleanUpEmbeddedKafka() {
    // 销毁EmbeddedKafka实例
    embeddedKafka.getEmbeddedKafka().destroy();
    // 手动删除临时日志目录（可选，确保彻底清理）
    String logDirPath = System.getProperty("java.io.tmpdir") + "/kafka-test-" + System.currentTimeMillis();
    File logDir = new File(logDirPath);
    deleteDirectory(logDir);
}

// 递归删除目录的工具方法
private static boolean deleteDirectory(File directory) {
    if (directory == null || !directory.exists()) {
        return true;
    }
    File[] files = directory.listFiles();
    if (files != null) {
        for (File file : files) {
            deleteDirectory(file);
        }
    }
    return directory.delete();
}

第三步：检查Windows临时目录权限 #

确保当前用户对C:\Users\shanh\AppData\Local\Temp目录有读写权限，虽然旧版本正常，但Kafka 2.x的文件操作逻辑更严格，偶尔权限问题也会导致文件生成失败。

总结 #

Kafka 2.x版本对组件版本一致性的要求远高于0.10.x，你之前的旧版本组合兼容性更好，但升级后必须严格对齐所有相关依赖的版本。优先解决版本冲突问题，再配合临时目录的优化，就能解决meta.properties找不到的报错。

内容的提问来源于stack exchange，提问作者Shan He