Flink 1.4.0 Docker容器日志路径配置问题咨询

问题原因 #

Flink 1.4.0的官方Docker镜像默认将所有日志输出到标准输出(stdout)和标准错误(stderr)，这就是为什么你能通过docker logs $(containerId)获取日志，但容器内的/opt/flink/log目录是空的——默认配置没有将日志写入文件系统的这个目录。

解决方案 #

我们需要修改Flink的日志配置（基于Log4j 1.x），让日志同时输出到文件和控制台（或者仅文件），并通过Docker挂载将自定义配置注入容器。

步骤1：创建自定义Log4j配置文件

在宿主机上创建一个目录（比如./flink-conf），并在其中新建log4j.properties文件，内容如下：

# 设置根日志级别为INFO，同时输出到文件和控制台
log4j.rootLogger=INFO, file, console

# 配置文件输出Appender
log4j.appender.file=org.apache.log4j.RollingFileAppender
# 指定日志文件路径为容器内的/opt/flink/log
log4j.appender.file.File=/opt/flink/log/flink.log
# 单个日志文件最大大小
log4j.appender.file.MaxFileSize=10MB
# 保留的日志备份数量
log4j.appender.file.MaxBackupIndex=5
# 日志格式
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

# 配置控制台输出Appender（保留这部分，docker logs仍能获取日志）
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

如果你不需要控制台输出，可以把log4j.rootLogger改成INFO, file。

步骤2：修改docker-compose.yml挂载配置

更新你的docker-compose.yml，为JobManager和TaskManager添加自定义日志配置的挂载，同时建议明确指定Flink 1.4.0的镜像版本：

version: '3'
services:
  jobmanager:
    image: ${FLINK_DOCKER_IMAGE_NAME:-flink:1.4.0}
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    volumes:
      # 挂载自定义Log4j配置到容器的Flink配置目录
      - ./flink-conf/log4j.properties:/opt/flink/conf/log4j.properties
      # 保留你原来的挂载
      - /home/yeyunlong/work/flink/flink-jar:/var/log/mongodb
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
    image: ${FLINK_DOCKER_IMAGE_NAME:-flink:1.4.0}
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    volumes:
      # 同样挂载自定义Log4j配置
      - ./flink-conf/log4j.properties:/opt/flink/conf/log4j.properties
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

步骤3（可选）：挂载日志目录到宿主机

如果你想直接在宿主机查看Flink日志文件，可以为容器的/opt/flink/log目录添加挂载。比如在宿主机创建./flink-log目录，然后修改volumes：

# JobManager的volumes部分添加：
- ./flink-log:/opt/flink/log

# TaskManager的volumes部分同样添加：
- ./flink-log:/opt/flink/log

注意：挂载前需要确保宿主机目录的权限正确，Flink容器内的运行用户UID是9999，所以执行：

chown -R 9999:9999 ./flink-log

验证配置 #

重启容器后：

1. 进入容器执行ls /opt/flink/log，应该能看到生成的flink.log文件；
2. 查看文件内容：cat /opt/flink/log/flink.log，确认日志已写入；
3. 同时docker logs $(containerId)仍然能获取日志（如果保留了ConsoleAppender）。

内容的提问来源于stack exchange，提问作者yeyunlong