如何读取Spark DataFrame Reader实例中已设置的选项值？

你说得没错，Spark 3.1.3的DataFrameReader公开API里确实没有提供直接读取已设置选项的方法——这些选项是作为实例的内部状态维护的，并没有暴露对应的getter接口。

下面提供两种可行的方案，各有优劣：

方案1：封装自己的读取器（推荐，无版本兼容风险） #

最稳妥的方式是自己封装一层，在设置选项的同时同步记录这些配置。比如在Python中可以写个简单的包装类：

class TrackedDataFrameReader:
    def __init__(self, spark):
        self.reader = spark.read
        self.options = {}
    
    def option(self, key, value):
        self.options[key] = value
        self.reader.option(key, value)
        return self
    
    def options(self, opts):
        self.options.update(opts)
        self.reader.options(opts)
        return self
    
    def get_option(self, key):
        return self.options.get(key)
    
    def get_all_options(self):
        return self.options.copy()
    
    # 转发其他DataFrameReader的方法，比如csv、parquet等
    def __getattr__(self, name):
        return getattr(self.reader, name)

使用时直接用这个包装类代替原生的spark.read，之后就能通过get_option或get_all_options随时获取已设置的选项。

方案2：通过反射访问内部状态（不推荐，依赖内部实现） #

如果不想封装，也可以利用Spark的内部结构通过反射获取选项，但要注意这种方法依赖Spark的私有实现，版本升级后可能失效。

Scala示例： #

import scala.reflect.runtime.universe._

val reader = spark.read.option("header", "true").options(Map("delimiter" -> ",", "inferSchema" -> "true"))

// 获取DataFrameReader的私有options属性
val mirror = runtimeMirror(reader.getClass.getClassLoader)
val instanceMirror = mirror.reflect(reader)
val optionsField = reader.getClass.getDeclaredField("options")
optionsField.setAccessible(true)
val currentOptions = optionsField.get(reader).asInstanceOf[scala.collection.Map[String, String]]

Python示例（通过py4j访问Java端的内部属性）： #

reader = spark.read.option("header", "true").options(delimiter=",", inferSchema="true")

# 获取Java DataFrameReader实例，反射获取内部options
j_reader = reader._jreader
options_field = j_reader.getClass().getDeclaredField("options")
options_field.setAccessible(True)
current_options = options_field.get(j_reader)
# 转换为Python字典
py_options = {k: v for k, v in current_options.items()}

需要注意的是，不同Spark版本的内部属性名称可能变化，比如有些版本里内部存储选项的字段可能叫_options而非options，所以这种方法只适合临时调试，不建议用于生产代码。

内容的提问来源于stack exchange，提问作者WestCoastProjects