K8s部署Spark集群启动History Server后作业未写日志需告知Worker吗

核心逻辑澄清 #

首先明确：Worker节点完全不需要感知History Server的存在，二者没有任何直接通信或配置同步的要求。
你混淆了事件日志的写入和读取链路的分工：

• 事件日志的写入主体是你提交的Spark作业的Driver进程，和History Server、Master节点、Worker节点都没有关联。你配置在History Server侧的spark.eventLog.enabled、spark.eventLog.dir参数对作业本身不会产生任何作用。
• History Server只是一个只读的日志展示工具，它只需要读取你配置的spark.history.fs.logDirectory路径下的日志文件即可，不需要和集群的任何其他组件做配置同步。

问题根因 #

你目前的问题本质是写事件日志的参数没有配置到Spark作业的运行配置中，只配置给了History Server，作业运行时不知道要写事件日志，自然不会生成任何文件到minIO路径。

修复方案 #

你可以任选一种方式把事件日志写入参数配置到作业中：

• 提交作业时直接携带参数：在spark-submit命令中加入以下参数即可

spark-submit \
  --conf spark.eventLog.enabled=true \
  --conf spark.eventLog.dir=s3a://你的日志存储路径 \
  --conf spark.hadoop.fs.s3a.access.key=你的AK \
  --conf spark.hadoop.fs.s3a.secret.key=你的SK \
  --conf spark.hadoop.fs.s3a.endpoint=你的minIO地址 \
  --conf spark.hadoop.fs.s3a.path.style.access=true \
  # 其他你的作业原有参数

• 如果你需要所有提交到集群的作业默认都写事件日志，可以把上述参数写入K8s部署的Spark集群所有节点的$SPARK_HOME/conf/spark-defaults.conf文件中，作业提交时会自动继承该配置。
• 如果你是通过Spark Operator提交作业，直接在SparkApplication资源的spec.conf字段下添加上述配置即可。

验证方法 #

作业启动后你可以直接到minIO对应的存储路径下查看，会生成后缀为.inprogress的临时日志文件，作业运行结束后后缀会自动移除，此时History Server就能识别到该作业的历史记录并展示。

内容的提问来源于stack exchange，提问作者Koedlt