Docker部署Bitnami Spark集群：日志位置与日志方案选型疑问

一、Spark集群日志的一般存放位置 #

• Driver端日志
  • 本地交互式PySpark（容器内启动shell）：日志直接输出到启动shell的控制台；若用client模式提交作业，Driver运行在提交容器内，日志可在docker logs <提交作业的容器名>中查看，同时容器内/opt/bitnami/spark/logs下的spark-*.out/spark-*.log文件也会留存。
  • cluster模式提交作业：Driver运行在Worker节点，日志存放在Worker容器内的/opt/bitnami/spark/work/app-<应用ID>/<Driver编号>/stdout和stderror文件中。
• Executor端日志
  无论作业提交模式如何，Executor日志都存放在Worker节点的/opt/bitnami/spark/work/app-<应用ID>/<Executor编号>/目录下，包含stdout和stderror文件；也可通过Spark UI（默认4040端口）的「Executors」页面点击「Logs」直接查看实时日志，这是最便捷的调试方式。
• 集群服务日志
  Master和Worker节点的启动、注册等服务日志，可通过docker logs spark-spark-1（Master容器）、docker logs spark-spark-worker-1（Worker容器）查看，或在容器内/opt/bitnami/spark/logs目录下的spark-master-*.log、spark-worker-*.log文件中获取。

二、两种日志方案的选择（初期快速获取代码运行反馈） #

直接选第一种：通过sc._jvm.org.apache.log4j获取Logger，理由如下：

1. 兼容性好：和Spark底层的Log4j日志系统完全集成，Driver、Executor的日志都会自动纳入Spark统一日志体系，能在Spark UI、Worker节点的作业日志目录中找到输出，你已经验证在PySpark控制台可正常输出，无需额外配置即可快速调试。
2. 配置便捷：可直接复用Spark自带的log4j.properties配置文件（位于/opt/bitnami/spark/conf目录），调整日志级别、输出路径都很方便，不用单独维护Python日志配置。

至于第二种Python标准logging模块，初期不推荐：Python日志和Spark JVM日志系统相互隔离，默认情况下Executor的Python进程日志不会被Spark捕获转发到统一位置，集群模式下Driver的Python日志也可能因输出重定向问题无法在容器日志中显示，需要额外配置日志转发，反而增加调试成本。

内容的提问来源于stack exchange，提问作者dermoritz