AWS Databricks用PySpark覆盖Exasol表时表被误删的问题

在AWS Databricks中使用PySpark将DataFrame写入Exasol表，原本期望通过设置truncate=true实现先截断现有数据再覆盖写入，但执行后目标表直接被删除。也接受「先执行TRUNCATE命令，再用append模式写入」的替代方案。

用户原执行代码 #

_df.write.format("jdbc")
    .option("url", "**********")
    .option("dbtable", dbtable)
    .option("user", username)
    .option("password", password)
    .option("truncate", "true")
    .option("driver", "com.exasol.jdbc.EXADriver")
    .mode("overwrite")
    .save()

环境信息 #

• Databricks集群：13.3 LTS（集成Apache Spark 3.4.1、Scala 2.12）
• Exasol JDBC驱动版本：7.1.20（曾尝试7.1.16，结果一致）

解决方案 #

方案一：手动执行TRUNCATE后用append模式写入 #

Spark通用JDBC的overwrite模式对Exasol的truncate=true参数支持存在差异，即使配置该参数，仍会触发删表重建逻辑。因此可以手动执行TRUNCATE语句清空数据，再用append模式写入新数据。

代码示例

# 定义JDBC连接参数
jdbc_url = "**********"
jdbc_user = username
jdbc_password = password
target_table = dbtable

# 方式1：通过Spark SQL执行TRUNCATE（需Exasol表已注册为Spark表）
spark.sql(f"TRUNCATE TABLE {target_table}")

# 方式2：直接通过JDBC连接执行TRUNCATE（适用于未注册的表）
from py4j.java_gateway import java_import
java_import(spark._jvm, "java.sql.Driver")

# 获取JDBC连接并执行TRUNCATE
conn = spark._jvm.java.sql.DriverManager.getConnection(jdbc_url, jdbc_user, jdbc_password)
stmt = conn.createStatement()
stmt.execute(f"TRUNCATE TABLE {target_table}")
# 关闭资源
stmt.close()
conn.close()

# 用append模式写入数据
_df.write.format("jdbc")
    .option("url", jdbc_url)
    .option("dbtable", target_table)
    .option("user", jdbc_user)
    .option("password", jdbc_password)
    .option("driver", "com.exasol.jdbc.EXADriver")
    .mode("append")
    .save()

方案二：使用Exasol官方Spark连接器（推荐） #

Exasol提供了专属的Spark连接器，比通用JDBC更适配其语法和行为，能正确识别truncate=true参数，避免删表。

步骤与代码

1. 在Databricks集群中安装适配Spark 3.4.1的连接器包，Maven坐标：com.exasol:exasol-spark-connector:3.0.0
2. 使用连接器写入数据：

_df.write.format("exasol")
    .option("host", "你的Exasol主机地址")
    .option("port", "8563")
    .option("username", jdbc_user)
    .option("password", jdbc_password)
    .option("schema", "目标表所属Schema")
    .option("table", target_table)
    .option("truncate", "true")
    .mode("overwrite")
    .save()

注意事项 #

• 方案一中，执行TRUNCATE的账号需拥有目标表的TRUNCATE TABLE权限
• 方案二中，需确保连接器版本与Spark版本匹配，避免兼容性问题

内容的提问来源于stack exchange，提问作者Mohamed Gamal