Podman容器中Kafka 3.7.1 Kraft模式启动失败求助

问题现象 #

镜像构建无问题，但执行自定义run.sh启动Kafka 3.7.1 Kraft模式时，出现日志重叠、cluster_id未正确设置的情况，导致kafka-storage.sh format报错。本地直接启动Kraft模式时日志正常、可成功启动，仅Podman镜像环境出现该问题。

相关脚本代码 #

run.sh #

brokerId=kafka-1
ID=$(podman run --rm --detach --network=host --name kafka --env KAFKA_HEAP_OPTS="-Xms512m -Xmx1536m -Dsun.net.inetaddr.ttl=45" --env KAFKA_OPTS="-Dlogging.level=INFO" --env KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:/ocss/log4j.properties" --env REPLICATION_FACTOR=1 --env IS_DEV_SETUP=true --env ADVERTISED_HOST=${ADVERTISED_HOST} --env ADVERTISED_PORT=9093 --env HOSTNAME=$brokerId $IMAGE /ocss/entrypoint.sh)

podman ps --filter name=^/kafka$

podman logs -f $ID

entrypoint.sh #

echo "Starting the kafka on dev setup"
    ./start-kraft.sh
    #update_kafka_configuration
    exec /ocss/kafka/bin/kafka-server-start.sh /ocss/kafka/config/kraft/server.properties --override broker.id=${HOSTNAME##*-} --override     listeners=PLAINTEXT://:9093 --override log.dirs=/var/lib/kafka/data --override compression.type=gzip \
    --override advertised.host.name=${ADVERTISED_HOST} \
    --override advertised.port=${ADVERTISED_PORT}

start-kraft.sh #

if [[ -f "/var/lib/kafka/data/meta.properties" ]]; then
         cluster_id="$(grep "cluster.id" /var/lib/kafka/data/meta.properties | awk -F '=' '{print $2}')"
         echo "existing cluster id is "$cluster_id
     else
        cluster_id="$(/ocss/kafka/bin/kafka-storage.sh random-uuid)"
        echo "new cluster id is  "$cluster_id
fi
    echo "formatting log dir"
    /ocss/kafka/bin/kafka-storage.sh format -g -t $cluster_id -c /ocss/kafka/config/kraft/server.properties
    echo "log dir formatted"

排查与解决建议 #

1. 日志重叠问题

   • 去掉run.sh中容器启动的--detach参数，直接前台运行容器，避免日志抓取时机不匹配导致的重叠；或者在podman logs -f $ID前添加sleep 2延迟，等待容器内进程输出稳定。
   • 检查容器内/ocss/log4j.properties配置，确保没有重复的日志输出Appender，避免进程自身输出重复日志。

2. cluster_id未正确设置问题

   • 修复重复格式化逻辑：当前脚本无论meta.properties是否存在都会执行format，会破坏已有集群ID。修改start-kraft.sh，仅在首次启动时执行format：

     if [[ -f "/var/lib/kafka/data/meta.properties" ]]; then
         cluster_id="$(grep "cluster.id" /var/lib/kafka/data/meta.properties | awk -F '=' '{print $2}')"
         echo "existing cluster id is "$cluster_id
     else
         cluster_id="$(/ocss/kafka/bin/kafka-storage.sh random-uuid)"
         echo "new cluster id is  "$cluster_id
         echo "formatting log dir"
         /ocss/kafka/bin/kafka-storage.sh format -g -t $cluster_id -c /ocss/kafka/config/kraft/server.properties
         echo "log dir formatted"
     fi
     

   • 检查存储目录权限：在镜像构建时添加RUN chown -R kafka:kafka /var/lib/kafka/data（假设用kafka用户运行进程），确保进程能读写meta.properties文件。
   • 验证变量赋值：在start-kraft.sh中添加echo "cluster_id: $cluster_id"，确认变量是否被正确获取，排查是否因grep/awk命令执行失败导致空值。
   • 确认HOSTNAME传递：在entrypoint.sh开头添加echo "HOSTNAME: $HOSTNAME"，检查容器内是否正确接收到该环境变量，避免broker.id解析错误影响Kraft启动。

3. 容器运行环境问题

   • 确保kafka-storage.sh等脚本拥有执行权限，镜像构建时可添加RUN chmod +x /ocss/kafka/bin/*.sh。
   • 检查server.properties中的Kraft配置，比如单节点模式下需设置process.roles=broker,controller，避免format时因配置缺失报错。

内容的提问来源于stack exchange，提问作者akt