在Databricks中获取PySpark UDF执行器的log4j日志问题

一、修正配置文件路径格式 #

你当前指定的spark.executor.extraJavaOptions路径格式不符合Databricks对Unity Catalog Volume的访问规则，执行器JVM中需要使用带file:///前缀的本地映射路径。修改集群Spark配置为：

spark.executor.extraJavaOptions=-Dlog4j.configuration=file:///file/Volumes/<你的catalog>/<你的schema>/<你的volume>/log4j.properties

同时确认：

• Volume内确实存在log4j.properties文件
• 集群使用的服务主体拥有该Volume的READ权限

二、简化配置：直接指定UDF类日志级别 #

如果不想维护外部配置文件，可直接在集群Spark配置中指定目标UDF类的日志输出规则，无需加载配置文件：

spark.executor.extraJavaOptions=-Dlog4j.logger.com.example.demo.SomeUDF=INFO,console

该配置会让指定UDF类的INFO级别日志直接输出到执行器stdout，在Spark UI的Executors页面即可查看。

三、解决SLF4J与日志框架版本冲突 #

Databricks默认使用log4j2作为日志框架，若你的UDF依赖log4j1.x，会出现SLF4J绑定冲突。调整Maven依赖：

1. 排除UDF项目中自带的log4j1.x绑定（标记为provided，避免与集群依赖冲突）：

<dependencies>
  <dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-log4j12</artifactId>
    <scope>provided</scope>
  </dependency>
  <!-- 其他依赖保持不变 -->
</dependencies>

2. 如需适配log4j2，改用对应的SLF4J绑定（同样标记为provided）：

<dependency>
  <groupId>org.apache.logging.log4j</groupId>
  <artifactId>log4j-slf4j-impl</artifactId>
  <scope>provided</scope>
</dependency>

四、使用Unity Catalog Volume存储日志文件 #

执行器JVM可以写入Unity Catalog Volume，只需在log4j.properties中添加文件追加器配置：

log4j.rootCategory=INFO, console, file
# 保留原有控制台追加器配置
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
# 添加文件追加器
log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/file/Volumes/<你的catalog>/<你的schema>/<你的volume>/udf_executor.log
log4j.appender.file.Append=true
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

注意事项：

• 集群服务主体需要拥有该Volume的WRITE权限
• 若要按执行器拆分日志，可在文件名中加入变量${spark.executor.id}，例如udf_executor_${spark.executor.id}.log

五、验证步骤 #

1. 重启集群使所有配置生效
2. 重新运行PySpark代码调用UDF
3. 查看日志：
   • 控制台日志：Spark UI -> Executors -> 对应执行器的stdout
   • 文件日志：直接在Unity Catalog Volume中查看生成的日志文件

内容的提问来源于stack exchange，提问作者YerivanLazerev