如何从Spring Boot应用执行Docker容器内命令修改Kafka主题分区数

你不需要先进入容器bash再执行命令，有两种更简便的实现方式，优先选第一种原生客户端方案，稳定性远高于调用shell命令。

方案1：使用Kafka原生AdminClient实现（推荐） #

这是生产环境的标准实现方式，完全不需要操作Docker，也不需要调用shell脚本，直接通过Kafka协议完成分区修改。

• 前提：将Kafka容器的服务端口（默认9092）映射到宿主机，保证Spring Boot应用可以直接访问到Kafka服务地址
• 实现步骤：
  1. 确保项目已经引入spring-kafka依赖，Spring Boot默认的Kafka自动装配已经包含需要的核心类
  2. 直接编写操作逻辑，示例代码如下：

import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.NewPartitions;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import java.util.Collections;
import java.util.Properties;

@Component
public class KafkaPartitionService {

    private final AdminClient kafkaAdminClient;

    // 直接读取Spring Boot配置中的Kafka连接地址
    public KafkaPartitionService(@Value("${spring.kafka.bootstrap-servers}") String bootstrapServers) {
        Properties adminProps = new Properties();
        adminProps.put("bootstrap.servers", bootstrapServers);
        this.kafkaAdminClient = AdminClient.create(adminProps);
    }

    /**
     * 修改指定主题的分区数
     * @param topicName 主题名
     * @param targetPartitionNum 调整后的总分区数，只能比现有分区数大，Kafka不支持减少分区
     */
    public void updateTopicPartitions(String topicName, int targetPartitionNum) throws Exception {
        kafkaAdminClient.createPartitions(
                Collections.singletonMap(topicName, NewPartitions.increaseTo(targetPartitionNum))
        ).all().get();
    }
}

• 注意：该方式和执行kafka-topics.sh的底层逻辑完全一致，同样遵循Kafka「分区只能增不能减」的限制，不需要额外处理兼容性。

方案2：直接通过ProcessBuilder调用docker exec（不推荐，仅作兜底） #

你之前用ProcessBuilder失败的核心原因有两个：一是加了-it交互参数，Java非交互环境下无法分配伪终端会直接报错；二是多此一举先进入bash，docker exec本身支持直接传入容器内要执行的命令，不需要分两步走。
正确的实现代码如下：

public void alterPartitionByDockerExec(String topicName, int targetPartitionNum) throws Exception {
    ProcessBuilder pb = new ProcessBuilder(
            "docker",
            "exec",
            "kafka", // 替换为你实际的Kafka容器名
            "/opt/kafka/bin/kafka-topics.sh", // 写容器内脚本的绝对路径，避免相对路径找不到文件
            "--alter",
            "--zookeeper",
            "zookeeper:2181",
            "--topic",
            topicName,
            "--partitions",
            String.valueOf(targetPartitionNum)
    );
    // 合并标准输出和错误输出，方便排查问题
    pb.redirectErrorStream(true);
    Process process = pb.start();
    String execLog = new String(process.getInputStream().readAllBytes());
    int exitCode = process.waitFor();
    if (exitCode != 0) {
        throw new RuntimeException("Kafka分区修改失败，执行日志：" + execLog);
    }
}

• 该方案的注意事项：
  • 运行Spring Boot应用的操作系统用户必须拥有Docker执行权限，否则会报权限不足错误
  • 不要加-i、-t参数，非交互场景不需要伪终端
  • 高版本Kafka已经废弃--zookeeper参数，建议替换为--bootstrap-server localhost:9092直接连接Kafka服务执行操作
  • 脚本路径务必写容器内的绝对路径，避免因为容器工作目录、环境变量未加载导致找不到命令

内容的提问来源于stack exchange，提问作者user15676007