如何在Dataproc Serverless Spark中修改日志级别

由于Dataproc Serverless的底层VM不可直接访问，我们需要通过作业提交参数搭配自定义日志配置文件来调整Spark的日志级别，具体操作步骤如下：

1. 准备自定义日志配置文件
   创建一个名为spark-log4j2.properties的文件，在文件中设置你需要的日志规则，比如修改根日志级别，或者指定特定类的日志级别：

   # 示例：设置根日志级别为INFO
   rootLogger.level=INFO
   # 示例：将Spark核心类的日志级别设为DEBUG
   logger.org.apache.spark.name=DEBUG
   logger.org.apache.spark.level=DEBUG
   

2. 提交作业时添加配置参数
   在提交Dataproc Serverless Spark作业的命令中，加入以下参数：

   --properties spark.executor.extraJavaOptions=-Dlog4j.configuration=spark-log4j2.properties \
   --files spark-log4j2.properties \
   

   各参数作用说明：

   • --files：将自定义的日志配置文件上传到所有Executor节点的工作目录，确保Executor能读取到该配置
   • --properties：为Executor设置JVM启动参数，指定Log4j使用我们上传的自定义配置文件加载日志规则

3. （可选）同时配置Driver的日志级别
   如果需要调整Driver的日志级别，可以在--properties中补充spark.driver.extraJavaOptions参数：

   --properties spark.driver.extraJavaOptions=-Dlog4j.configuration=spark-log4j2.properties,spark.executor.extraJavaOptions=-Dlog4j.configuration=spark-log4j2.properties \
   --files spark-log4j2.properties \
   

内容的提问来源于stack exchange，提问作者Warren Zhu