如何让临时Docker容器中运行的批处理作业日志可持久化并外部访问？

我通过Docker容器运行一个定时任务（Python ETL脚本），每天凌晨12:30触发执行：

docker run $IMAGE 

Dockerfile配置如下：

# Run the script at container boot time.
CMD ["./run_manager.sh"]

run_manager.sh脚本内容：

python3 main.py>>main.log 2>&1

Python代码中logging模块的使用方式：

#!/usr/bin/env python3
# encoding: utf-8

"""
This file contains the script
"""
import logging
from contextlib import AbstractContextManager
import polars as pl
import tensorflow as tf
import sqlalchemy as sa

logging.basicConfig(format='%(asctime)s|%(levelname)s: %(message)s',
                    datefmt='%H:%M:%S, %d-%b-%Y', level=logging.INFO)

...
# 其他代码

由于容器是临时的，任务触发时创建、执行后销毁，导致无法访问日志。如何修改实现日志持久化、轮转并可在容器外部查看？

当前任务在本地Ubuntu实例通过cron运行，不久后将迁移至Google Cloud Scheduler，尽可能保留现有架构，此时如何查看过往作业日志？

一、本地Ubuntu环境：Docker卷挂载+日志轮转 #

1. 调整Python日志配置，实现自动轮转 #

替换原有的logging.basicConfig，改用RotatingFileHandler实现日志自动切割，避免单文件过大：

#!/usr/bin/env python3
# encoding: utf-8

import logging
from logging.handlers import RotatingFileHandler
from contextlib import AbstractContextManager
import polars as pl
import tensorflow as tf
import sqlalchemy as sa

# 配置轮转日志处理器
handler = RotatingFileHandler(
    './main.log',
    maxBytes=5*1024*1024,  # 单文件最大5MB
    backupCount=5,          # 保留最近5个日志文件
    encoding='utf-8'
)
formatter = logging.Formatter('%(asctime)s|%(levelname)s: %(message)s', datefmt='%H:%M:%S, %d-%b-%Y')
handler.setFormatter(formatter)

logger = logging.getLogger()
logger.setLevel(logging.INFO)
logger.addHandler(handler)

# 可选：同时输出到控制台，方便调试
console_handler = logging.StreamHandler()
console_handler.setFormatter(formatter)
logger.addHandler(console_handler)

...
# 其他代码

2. 挂载本地目录到容器，实现日志持久化 #

在本地创建固定日志目录，执行docker run时通过-v参数挂载到容器内，容器销毁后日志会保留在本地：

# 本地创建日志目录
mkdir -p /opt/etl-logs

# 修改启动命令，挂载目录
docker run -v /opt/etl-logs:/app/logs $IMAGE

3. 同步脚本和Dockerfile路径（可选） #

如果要统一日志存放路径，修改run_manager.sh：

python3 main.py >> /app/logs/main.log 2>&1

同时在Dockerfile中创建对应目录：

WORKDIR /app
RUN mkdir -p logs
CMD ["./run_manager.sh"]

二、Google Cloud Scheduler环境：对接Cloud Logging #

保留现有Docker架构，通过日志驱动直接将容器日志同步到Google Cloud Logging，无需本地存储：

docker run \
  --log-driver=gcplogs \
  --log-opt gcp-project=$你的GCP项目ID \
  --log-opt gcp-log-cmd=true \
  $IMAGE

任务执行后，日志会自动上传到Cloud Logging，可通过GCP控制台的日志资源管理器筛选、查看过往日志，还能配置日志保留期限、告警规则。

兼容本地+GCP的统一配置 #

如果要一套代码适配两种环境，可修改run_manager.sh去掉文件重定向，让Python日志直接输出到控制台：

python3 main.py

• 本地环境：通过挂载卷保存日志，同时可用docker logs临时查看容器运行时日志
• GCP环境：gcplogs驱动会自动捕获容器标准输出/错误，同步到Cloud Logging

三、额外优化 #

• 本地环境可搭配logrotate做进一步日志清理，创建/etc/logrotate.d/etl-job配置文件：

/opt/etl-logs/main.log {
    daily
    rotate 30
    compress
    missingok
    notifempty
}

• GCP环境可给日志添加自定义标签（如job=daily-etl），方便快速筛选特定任务日志

内容的提问来源于stack exchange，提问作者Della