如何Docker化共享requirements.txt且需频繁更新的多Python爬虫脚本？

疑问1：是否需要创建6个镜像和容器？ #

不需要，完全可以只构建一个基础镜像复用相同的依赖，通过挂载本地代码目录的方式运行不同的爬虫脚本，脚本更新时根本不用重建镜像，能大幅节省时间。

具体操作步骤：

1. 编写Dockerfile，基于Python镜像安装共用依赖：

FROM python:3.9-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
# 留空启动命令，运行容器时指定具体脚本
CMD ["python"]

2. 构建基础镜像：

docker build -t python-spider-base .

3. 将6个爬虫脚本放在宿主机的./spiders/目录，针对每个脚本启动容器时，通过绑定挂载把本地脚本目录挂载到容器的/app目录，同时指定运行的脚本：

# 运行spider1.py
docker run -d --name spider1 -v ./spiders:/app python-spider-base python spider1.py

# 运行spider2.py
docker run -d --name spider2 -v ./spiders:/app python-spider-base python spider2.py

当需要更新脚本时，直接在宿主机./spiders/目录替换文件，重启对应容器即可：

docker restart spider1

这种方式下，只有当依赖库变更时才需要重新构建基础镜像，脚本频繁更新完全不用碰镜像。

疑问2：用VOLUMES处理Excel文件合适吗？ #

非常合适，但更推荐用**绑定挂载（Bind Mount）**而非Docker管理的Volume。因为你需要不时手动更新Excel文件，绑定挂载可以直接在宿主机的指定目录编辑文件，修改会实时同步到容器内，操作更便捷。

具体操作：

1. 在宿主机创建./excel-data/目录存放Excel文件；
2. 启动容器时，把这个目录挂载到容器内的指定路径（比如/app/excel）：

docker run -d --name spider1 -v ./spiders:/app -v ./excel-data:/app/excel python-spider-base python spider1.py

3. 爬虫脚本直接读写/app/excel目录下的文件即可，你在宿主机./excel-data/里修改或替换文件，容器内立刻能看到最新内容。

如果用Docker管理的Volume，虽然也能实现持久化，但需要通过docker cp或进入容器修改文件，操作远不如绑定挂载直观。

内容的提问来源于stack exchange，提问作者asparagus