Databricks中Spark日志存储路径及Snowflake连接日志配置咨询

1. Spark日志存储路径 #

不同场景下的日志查询路径/入口如下：

• 驱动节点日志默认存储路径：/databricks/driver/logs/，Snowflake连接的参数校验、请求发起逻辑都在驱动节点执行，直接查看该目录下的spark_driver.log就能找到连接字符串相关的打印信息。
• 执行节点日志存储路径：/databricks/executor/logs/，仅当你需要排查数据写入过程的连接问题时才需要查看，普通的连接参数校验不需要用到。
• 如果你不想登录节点查文件，可以直接在对应集群的「Spark UI」页面找到「驱动程序日志」标签，在线浏览完整日志内容。

2. 额外日志配置说明 #

你当前已经开启了Snowflake连接器的tracing="all"配置，默认已经可以输出完整的连接请求细节，不需要额外修改Spark全局日志配置。
如果排查时发现日志没有打印完整的连接参数，可以在初始化Snowflake配置前加一行临时日志级别配置即可：

# 开启Snowflake Spark连接器的DEBUG级别日志
spark.conf.set("log4j.logger.net.snowflake.spark.snowflake", "DEBUG")

额外提醒：你提供的sfOptions代码中，sfPassword行末尾缺少逗号，运行时会触发Python语法错误，建议先补上该符号。

内容的提问来源于stack exchange，提问作者alterego