本地每日更新.csv数据接入Dockerized Django项目方案咨询

你原本本地跑SQL写库再挂载的方案耦合度太高，环境迁移、故障排查都麻烦，完全可以把全流程收进Compose栈，不需要在宿主机装数据库、跑定时任务。

先修正现有配置的基础问题 #

你当前的配置有几个长期跑会踩的坑，先调整：

• 不要用postgres:latest镜像，固定大版本比如postgres:15-alpine，避免版本自动升级导致数据兼容问题。
• web服务当前把整个代码目录用命名卷web-django挂载，会覆盖构建时COPY进镜像的代码，开发环境可以改成绑定挂载本地代码目录做热重载，生产环境直接删掉这个卷，只保留静态文件卷即可。
• 不要把PostgreSQL、Redis、PgAdmin的端口直接映射到宿主机公网，生产环境删掉这些服务的ports配置，仅保留同Compose网络内的服务互访，需要本地调试时临时加端口映射即可，避免被暴力扫描攻击。

两种可落地的全容器实现方案 #

方案一：复用Web容器跑定时任务（改动最小，适配中小规模场景） #

不需要加新服务，直接在现有web容器内集成导入逻辑和定时调度：

1. 在dashboards应用下编写Django自定义管理命令，实现CSV增量导入逻辑，核心要做数据去重、异常捕获、日志记录，避免重复导入。示例代码结构：

# dashboards/management/commands/import_daily_csv.py
from django.core.management.base import BaseCommand
import pandas as pd
from dashboards.models import StatsData
import os
import logging

logger = logging.getLogger(__name__)

class Command(BaseCommand):
    help = "导入每日更新的CSV统计数据"

    def handle(self, *args, **options):
        csv_path = os.getenv("CSV_STORAGE_PATH", "/data/daily_latest.csv")
        if not os.path.exists(csv_path):
            logger.error(f"CSV文件不存在: {csv_path}")
            return
        # 读取并清洗CSV数据
        df = pd.read_csv(csv_path)
        # 按统计日期做去重，仅插入新增数据
        exist_dates = set(StatsData.objects.values_list("stat_date", flat=True))
        insert_objs = []
        for _, row in df.iterrows():
            if row["stat_date"] not in exist_dates:
                insert_objs.append(StatsData(
                    stat_date=row["stat_date"],
                    metric_value=row["metric_value"],
                    # 对应你的模型字段
                ))
        # 批量写入提升性能
        StatsData.objects.bulk_create(insert_objs, batch_size=1000)
        logger.info(f"导入完成，新增{len(insert_objs)}条记录")
        # 导入完成后主动清Redis缓存，避免前端读到旧数据
        from django.core.cache import cache
        cache.delete("dashboard_stats_cache")

2. 修改web服务的Dockerfile，安装cron服务，配置定时规则，启动时同时运行cron和gunicorn：

FROM python:3.7-slim

# 安装cron依赖，清理apt缓存减小镜像体积
RUN apt-get update && apt-get install -y --no-install-recommends cron && rm -rf /var/lib/apt/lists/*
RUN python -m pip install --upgrade pip

COPY requirements.txt requirements.txt
RUN python -m pip install -r requirements.txt

COPY . .

# 配置定时任务：每天凌晨2点执行导入命令，日志落盘
RUN echo "0 2 * * * /usr/local/bin/python /usr/src/app/manage.py import_daily_csv >> /var/log/csv_import.log 2>&1" > /etc/cron.d/csv_import
RUN chmod 0644 /etc/cron.d/csv_import
RUN touch /var/log/csv_import.log

# 写启动脚本：先启动cron，再启动gunicorn
RUN printf "#!/bin/sh\ncron\nexec /usr/local/bin/gunicorn docker_django.wsgi:application -w 2 -b :8000\n" > /usr/src/app/start.sh
RUN chmod +x /usr/src/app/start.sh

CMD ["/usr/src/app/start.sh"]

3. 在docker-compose的web服务volumes配置下，加一行绑定挂载，把你本地存CSV的目录映射到容器内的/data路径即可：

volumes:
  - web-static:/usr/src/app/static
  - 你本地存CSV的目录绝对/相对路径:/data

之后你只需要把每日更新的CSV放到本地对应目录，容器内的定时任务会自动读取写入PostgreSQL，完全不需要本地装数据库、跑SQL脚本。

方案二：独立调度服务（隔离性强，适配任务逻辑复杂的场景） #

如果不想把定时任务和web服务塞在同一个容器里，可以加一个轻量调度服务，不需要修改现有web镜像，直接在Compose栈里加服务即可：

job-scheduler:
    image: mcuadros/ofelia:latest
    restart: always
    depends_on:
      - web
    command: daemon --docker
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
    labels:
      ofelia.job-run.schedule: "0 2 * * *" # 每天凌晨2点执行
      ofelia.job-run.container: "你的web服务容器名"
      ofelia.job-run.command: "python /usr/src/app/manage.py import_daily_csv"

这个方案的调度逻辑完全独立，后续要加其他定时任务（比如日志清理、数据统计）直接改标签配置即可，不需要重新构建web镜像。

性能优化建议 #

• 仪表盘读数据的接口直接用Redis做缓存，缓存有效期设24小时，每次CSV导入完成后主动清除对应缓存key，平衡数据实时性和查询性能。
• 如果需要提供CSV原始文件下载接口，直接读取共享卷里的文件返回流式响应即可，不需要把文件存在web代码目录里。
• 数据库定期备份直接用卷备份命令即可，不需要额外工具：
  docker run --rm -v pgdata:/volume -v 本地备份目录:/backup busybox tar cvf /backup/pg_backup_$(date +%Y%m%d).tar /volume

内容的提问来源于stack exchange，提问作者solid