Windows 11下无需复制直接查看Docker中PySpark输出文件的方法

方法一：使用Docker绑定挂载（Bind Mount） #

这是最直接的解决方案，通过将Windows本地目录挂载到容器内的输出路径，让PySpark的输出直接写入本地目录，无需后续复制操作。

操作步骤： #

1. 在Windows本地创建输出目录，比如 C:\output
2. 修改你的docker run命令，添加-v参数实现目录挂载：

docker run -v C:/output:/opt/application/output <你的镜像名称> driver local:///opt/application/main.py

注意：Windows路径在Docker命令中可以用C:/output或//c/output两种格式，避免使用反斜杠\（会被识别为转义字符）。

3. 运行命令后，PySpark将输出写入容器内的/opt/application/output，这个路径已经和本地C:\output绑定，直接打开本地目录就能看到输出的Parquet文件。

优化建议： #

• 可以删除Dockerfile中的COPY output/ output/指令，因为挂载的本地目录会覆盖容器内的该目录，无需预先复制空目录，减少镜像体积。
• 如果遇到权限报错（容器无法写入本地目录），可以：
  • 给本地C:\output目录设置Everyone可写入权限（测试环境可用）
  • 或者在docker run命令中添加--user root以root用户运行容器（生产环境不推荐，仅临时测试）

方法二：封装成Windows Batch脚本（一键运行） #

将挂载命令封装成批处理脚本，避免每次手动输入长命令，简化操作流程。

创建run_spark_etl.bat文件，内容如下：

@echo off
REM 检查本地输出目录是否存在，不存在则创建
if not exist "C:\output" mkdir "C:\output"

REM 运行Docker容器并挂载输出目录
docker run -v C:/output:/opt/application/output <你的镜像名称> driver local:///opt/application/main.py

echo ETL任务执行完成，输出文件位于 C:\output
pause

双击该脚本即可一键运行ETL作业，完成后直接查看本地C:\output目录的文件。

内容的提问来源于stack exchange，提问作者Data writer