Spark(PySpark)写入Redshift JDBC遇驱动错误：无合适驱动/类未找到

核心错误分析 #

你遇到的java.sql.SQLException: No suitable driver和java.lang.ClassNotFoundException: com.amazon.redshift.jdbc42.Driver，本质是Spark的Driver或Executor节点无法正确加载Redshift JDBC驱动类，常见原因包括类路径配置不全、驱动与依赖冲突、版本兼容性问题。

针对性解决步骤 #

1. 完善类路径配置，确保驱动全节点可见 #

• 集群模式必须配置Executor类路径：你当前的--driver-class-path仅让Driver节点识别驱动，Executor节点需要单独指定。修改spark-submit命令，添加Executor类路径配置：

  spark-submit 
  --conf spark.driver.bindAddress=127.0.0.1 
  --conf spark.driver.host=127.0.0.1 
  --conf spark.executor.extraClassPath=/path/to/RedshiftJDBC42-2.1.0.30.jar
  --driver-memory 4g 
  --packages org.apache.hadoop:hadoop-aws:3.3.1,com.amazonaws:aws-java-sdk-bundle:1.11.901 
  --jars /path/to/RedshiftJDBC42-2.1.0.30.jar 
  --driver-class-path /path/to/RedshiftJDBC42-2.1.0.30.jar 
  my_script.py
  

• 检查JAR权限与路径：确保Spark运行用户拥有该JAR的读取权限，路径避免空格、特殊字符；本地模式可直接将JAR复制到$SPARK_HOME/jars目录下，跳过路径配置。

2. 解决驱动依赖冲突问题 #

你引入的aws-java-sdk-bundle与Redshift JDBC驱动自带的AWS SDK可能存在版本冲突，导致类加载异常。推荐使用redshift-jdbc42-no-awssdk版本的驱动：

• 该版本驱动不包含AWS SDK，直接依赖你已通过--packages引入的SDK包，彻底避免冲突。
• 替换原驱动JAR后，保持原spark-submit配置即可。

3. 版本兼容性检查 #

• 当前RedshiftJDBC42-2.1.0.30与Spark 3.3.1（Java 8+）兼容，但如果你的Spark运行环境是Java 11+，建议切换到JDBC43版本的驱动（对应类名com.amazon.redshift.jdbc43.Driver）。
• hadoop-aws:3.3.1与aws-java-sdk-bundle:1.11.901版本匹配，无需调整。

4. 替代方案：使用spark-redshift库（更高效） #

JDBC单条写入效率较低，推荐使用spark-redshift社区维护版本，通过S3中转批量写入Redshift，同时避免驱动类加载问题：

• 依赖配置：在spark-submit的--packages中添加org.apache.spark:spark-redshift_2.12:3.1.0（对应Spark 3.3.x）。
• Python代码示例：

  jdbc_url = "jdbc:redshift://your-redshift-endpoint:5439/dev"
  (df.write
   .format("com.databricks.spark.redshift")
   .option("url", jdbc_url)
   .option("dbtable", "public.my_staging_table")
   .option("user", os.environ["REDSHIFT_USER"])
   .option("password", os.environ["REDSHIFT_PASSWORD"])
   .option("tempdir", "s3://your-s3-bucket/temp-redshift/")  # 需提前创建该S3目录
   .mode("append")
   .save())
  

• 注意：确保Spark拥有该S3目录的读写权限，你的现有AWS凭证配置已正常，无需额外调整。

你的问题解答 #

1. 是否需要其他配置步骤？
   需要确保Executor节点的类路径包含驱动，检查JAR权限与路径正确性，同时确认Redshift端点URL填写完整（你的当前URL缺少集群地址）。
2. 是否需要额外Spark配置？
   集群模式下必须添加spark.executor.extraClassPath配置；使用spark-redshift库时需配置S3临时目录。
3. 驱动版本与Spark/Hadoop兼容性？
   当前版本兼容，但Java版本不匹配（如Java 11+用JDBC42）或SDK冲突会引发问题，建议切换无SDK版本驱动。
4. 是否考虑其他驱动或方案？
   优先推荐redshift-jdbc42-no-awssdk驱动解决冲突；追求写入效率的话，使用spark-redshift库是更好的选择。

内容的提问来源于stack exchange，提问作者Cauder