如何检测Spark类路径中第三方数据源格式（如Redshift）是否存在

背景 #

Spark的spark.read.format()用于指定数据源类型，包括内置的JSON、CSV，以及com.databricks.spark.redshift这类第三方库。现在需要判断本地Spark环境类路径中包含以下哪一个Redshift开源库：

• com.databricks.spark.redshift
• io.github.spark_redshift_community.spark.redshift

已尝试方案的问题 #

• Class.forName("com.databricks.spark.redshift")无效：因为指定的是包名而非具体实现类
• 依赖Spark私有API：Utils等非公开接口兼容性差，易随版本变更失效
• 解析java.class.path：类路径结构复杂，JAR文件名可能带版本后缀，匹配不准确
• 尝试load()捕获异常：属于运行时检查，无法提前发现问题，影响流程效率

可靠解决方案 #

1. 检查数据源的DefaultSource实现类 #

第三方Spark数据源必须实现DefaultSource类作为入口，因此直接检查该类是否存在即可，这是最准确的方式：

Scala代码示例：

def isDataSourceAvailable(className: String): Boolean = {
  try {
    // 使用当前线程的上下文类加载器，适配Spark的类加载机制
    Thread.currentThread().getContextClassLoader.loadClass(className)
    true
  } catch {
    case _: ClassNotFoundException => false
  }
}

// 检查两个Redshift库
val hasDatabricksRedshift = isDataSourceAvailable("com.databricks.spark.redshift.DefaultSource")
val hasCommunityRedshift = isDataSourceAvailable("io.github.spark_redshift_community.spark.redshift.DefaultSource")

Java代码示例：

public static boolean isDataSourceAvailable(String className) {
    try {
        Thread.currentThread().getContextClassLoader().loadClass(className);
        return true;
    } catch (ClassNotFoundException e) {
        return false;
    }
}

// 调用示例
boolean hasDatabricks = isDataSourceAvailable("com.databricks.spark.redshift.DefaultSource");
boolean hasCommunity = isDataSourceAvailable("io.github.spark_redshift_community.spark.redshift.DefaultSource");

2. 利用Spark的数据源查找逻辑 #

如果不想依赖具体类名，也可以模拟Spark查找数据源的逻辑，调用lookupDataSource方法（注意：该方法在Spark 3.x中是私有API，但版本兼容性较好）：

Scala代码示例：

import org.apache.spark.sql.execution.datasources.DataSource

def isFormatAvailable(format: String, spark: org.apache.spark.sql.SparkSession): Boolean = {
    try {
        DataSource.lookupDataSource(format, spark.sessionState.conf)
        true
    } catch {
        case _: ClassNotFoundException | _: NoClassDefFoundError => false
    }
}

// 调用示例
val hasDatabricks = isFormatAvailable("com.databricks.spark.redshift", spark)
val hasCommunity = isFormatAvailable("io.github.spark_redshift_community.spark.redshift", spark)

3. 方案对比 #

生产环境推荐 #

优先使用检查DefaultSource实现类的方案，它不依赖Spark私有接口，能准确判断类路径中是否存在目标库，可在应用初始化阶段完成检查，避免运行时出错。

内容的提问来源于stack exchange，提问作者Pradip Sodha