如何查找Spark特定格式读写的所有配置选项？以HBase为例

问题背景 #

用Spark通过org.apache.hadoop.hbase.spark数据源读取HBase时，代码能正常运行，但不清楚hbase.columns.mapping、hbase.table这些配置选项的定义来源，也不知道还有哪些可用选项。像CSV、JSON这类常见格式，官方文档会列出所有配置，但HBase相关的这类资源很少。尝试在IntelliJ IDEA里搜索源码没找到选项定义，运行时看到HbaseRelation类但都是反编译状态，想获取从Spark源码查找配置选项的通用方法。

用户代码示例 #

val spark = SparkSession.builder().master("local").getOrCreate()
val hbaseConf =  HBaseConfiguration.create()
hbaseConf.set("hbase.zookeeper.quorum", "vftsandbox-namenode,vftsandbox-snamenode,vftsandbox-node03")

new HBaseContext(spark.sparkContext, hbaseConf)

val hbaseTable = "mytable"
val columnMapping =
  """id STRING :key,
    mycfColumn1 STRING mycf:column1,
    mycfColumn2 STRING mycf:column2,
    mycfCol1 STRING mycf:col1,
    mycfCol3 STRING mycf:col3
    """
val hbaseSource = "org.apache.hadoop.hbase.spark"

val hbaseDF = spark.read.format(hbaseSource)
  .option("hbase.columns.mapping", columnMapping)
  .option("hbase.table", hbaseTable)
  .load()
hbaseDF.show()

运行日志片段 #

17:53:51.205 [main] DEBUG org.apache.spark.util.ClosureCleaner -      HBaseRelation(Map(hbase.columns.mapping -> id STRING :key,
    mycfColumn1 STRING mycf:column1,
    mycfColumn2 STRING mycf:column2,
    mycfCol1 STRING mycf:col1,
    mycfCol3 STRING mycf:col3
    , hbase.table -> mytable),None)

通用查找方法 #

不管是哪种Spark数据源，都可以按以下步骤定位配置选项：

• 定位数据源实现类：每个数据源都对应DataSourceRegister和RelationProvider（或CreatableRelationProvider）的实现类。比如HBase的org.apache.hadoop.hbase.spark.HBaseRelationProvider，它是数据源的入口，负责处理读/写请求。
• 跟踪配置解析逻辑：找到Provider类后，查看它的createRelation方法（读操作）或对应的写方法，这里会解析传入的options参数。很多时候Provider会把配置传给Relation类（比如HBase的HBaseRelation），所以还要看Relation类的构造或初始化逻辑。
• 搜索硬编码的配置键：在Provider或Relation类里，直接搜索像hbase.table这类配置键的字符串，就能找到所有被代码引用的配置选项。哪怕是反编译代码，搜索这些键名也能定位到所有相关配置。
• 查看配置约束和默认值：解析逻辑里通常会有必填项校验、格式检查，部分配置还会有默认值，这些细节能帮你理解配置的用法。

HBase数据源的具体配置选项 #

结合源码分析，HBase Spark数据源常用的配置选项包括：

• hbase.table：必填，指定要访问的HBase表名。
• hbase.columns.mapping：必填，定义DataFrame列和HBase列的映射，格式为[DataFrame列名] [数据类型] [HBase列标识]，:key代表HBase的RowKey。
• hbase.config.resources：可选，指定额外的HBase配置文件路径（比如hbase-site.xml），用于覆盖默认配置。
• hbase.filter：可选，设置HBase过滤器，实现数据预过滤，减少读取的数据量。
• hbase.batchsize：可选，设置批量读取的行数，控制读取性能，默认值通常为1000。
• hbase.maxversions：可选，指定读取的HBase数据最大版本数，默认是1。

如果不确定某个配置是否可用，直接在代码里添加.option()测试，然后查看日志或调试HBaseRelation的初始化过程，确认配置是否被正确处理。

内容的提问来源于stack exchange，提问作者Hoang Minh Quang FX15045