如何查看Spark DataFrameReader中已设置的选项？

Spark官方API并没有提供公开的方法来直接获取DataFrameReader中已设置的选项——这些选项被封装在Reader内部的私有属性里，不对外暴露。不过可以通过以下几种方式来验证或获取：

• 利用反射读取内部属性（仅调试用）
  在PySpark中，可以通过DataFrameReader的_jreader属性访问其对应的Java对象，进而获取内部存储的选项。示例代码：

  # 假设已经构建好df_reader
  options_dict = df_reader._jreader.options()
  print(options_dict)
  

  注意：这种方法依赖Spark的内部实现逻辑，不同版本可能会有变动，不建议在生产代码中使用，仅适合调试或临时验证。

• 手动维护选项记录（生产环境推荐）
  最稳妥的方式是在设置选项时，自己同步维护一个字典来记录所有参数，后续需要验证时直接查看这个字典即可。比如：

  # 初始化记录字典
  recorded_options = {}
  
  # 设置单个选项并同步记录
  cluster_key, cluster_val = "kustoCluster", self.data_source.cluster
  recorded_options[cluster_key] = cluster_val
  df_reader = self.spark.read.option(cluster_key, cluster_val)
  
  db_key, db_val = "kustoDatabase", self.data_source.database
  recorded_options[db_key] = db_val
  df_reader = df_reader.option(db_key, db_val)
  
  query_key, query_val = "kustoQuery", resource.query
  recorded_options[query_key] = query_val
  df_reader = df_reader.option(query_key, query_val)
  
  # 批量设置选项并合并记录
  datasource_options = {
      'driver': 'com.microsoft.sqlserver.jdbc.SQLServerDriver', 
      'timestampFormat': 'yyyy-MM-dd HH:mm:ss.SSSSSS'
  }
  recorded_options.update(datasource_options)
  df_reader = df_reader.options(**datasource_options)
  
  # 需要验证时直接打印记录的选项
  print(recorded_options)
  

  这种方式完全可控，不受Spark版本更新的影响，适合在生产环境中使用。

• 通过执行计划间接查看（仅部分选项）
  如果是数据源相关的选项，可以尝试加载数据生成DataFrame后，查看执行计划来间接验证。部分与数据源连接、读取逻辑相关的选项会在执行计划中体现：

  df = df_reader.load()
  # 查看详细物理执行计划
  df.explain(True)
  

  不过这种方式只能获取部分关键选项，无法覆盖所有设置的参数。

内容的提问来源于stack exchange，提问作者WestCoastProjects