Dataproc中Spark driver与executor日志位置及相关配置咨询

Dataproc上和Spark日志存储路径相关的配置分为集群级预配置、Spark作业级配置、日志采集开关三类，核心配置如下：

• dataproc:logging.job.driver-logs-dir：Dataproc专属集群级属性，集群创建时指定，定义driver日志持久化到分布式存储的根目录，集群创建完成后无法全局修改。
• dataproc:logging.job.executor-logs-dir：和上一个配置对应，指定executor日志的持久化根目录，同样为集群创建时生效的全局配置。
• spark.driver.log.dfsDir：Spark 3.0及以上版本支持的作业级配置，提交作业时通过--conf传入即可，优先级高于集群级默认的driver日志路径配置，仅对当前作业生效。
• spark.eventLog.dir：Spark原生配置，指定Spark结构化事件日志的存储路径，这类日志是供Spark History Server渲染作业UI使用的，和运行时输出的stdout、stderr、业务日志不属于同一类，不要和运行日志路径混淆。
• spark.executor.logs.rolling.*系列配置：控制executor日志滚动规则的配套参数，开启日志滚动后，本地日志的切分命名规则、留存数量会直接影响采集端匹配的日志文件范围，间接决定哪些日志会被同步到持久化存储。
• dataproc.logging.agent.gcs.enabled：Dataproc节点内置日志采集agent的开关配置，在节点的dataproc.properties文件中配置，关闭后节点本地的Spark日志不会同步到分布式存储，仅保留在本地磁盘。

Dataproc上Spark日志的存储分本地临时存储、持久化存储两层，默认规则如下：

1. 本地临时存储规则
   Dataproc默认将Spark运行在YARN调度框架上，作业运行过程中实时产出的日志会先写入运行节点的本地磁盘：
   • Driver日志默认写入YARN ResourceManager节点的/var/log/hadoop-yarn/apps/<集群唯一标识>/目录，按作业ID命名子目录。
   • Executor日志默认写入对应运行worker节点的同层级YARN应用日志目录。
   • 本地磁盘上的日志默认留存周期为7天，如果节点被缩容回收、集群被删除，本地日志会直接永久丢失，不会自动备份。
2. 持久化存储默认规则
   • 如果创建集群时没有手动指定前述的driver、executor持久化日志路径，Dataproc会自动在集群绑定的临时GCS桶（默认命名格式为dataproc-temp-<部署区域>-<随机字符串>-<UUID>）下创建job-logs/根目录，将采集到的所有作业日志按「作业ID/角色（driver/executor）/节点IP」的层级结构存储。
   • 默认状态下节点内置的日志采集agent为开启状态，作业结束后5分钟内会完成本地日志到GCS的全量同步，单日志文件大小超过2G时会自动分块存储，不会做额外压缩。
   • Spark事件日志默认存储在同一个临时桶的spark-job-history/目录下，默认留存90天，和运行日志物理隔离，供Spark History Server读取调用。
3. 特殊场景默认规则
   • 如果使用的是Dataproc Serverless无服务器Spark服务，不存在用户可控的本地节点，所有driver、executor日志默认会直接写入Cloud Logging，同时同步持久化到作业提交时指定的暂存桶spark-logs/路径下，不会留存本地副本。
   • 默认配置下开启日志滚动后，仅当前正在写入的活跃日志文件会被采集同步到持久化存储，已经滚动完成的历史日志片段默认不会被采集，需要手动修改采集agent的路径匹配规则才会同步。

注意：如果手动指定了自定义日志持久化路径，需要提前给Dataproc集群的服务账号授予对应路径的读写权限，否则日志同步会静默失败，仅在节点本地留存日志，不会抛出显性报错。

内容的提问来源于stack exchange，提问作者Dagang Wei