Spark 3.1.1使用overwrite模式写入DB2表报错如何解决

问题原因分析 #

• 第一次报错SQLCODE=-551, SQLSTATE=42501：Spark默认overwrite模式写JDBC表时会先执行DROP TABLE再重建表，当前操作账号没有目标表的DROP权限，触发权限报错。
• 第二次报错SQLCODE=-104, SQLSTATE=42601：Spark 3.1.1内置的DB2 JDBC方言生成的TRUNCATE语句不符合DB2语法要求，DB2的TRUNCATE语句必须追加IMMEDIATE关键字才可以执行，缺少该关键字会触发语法错误。

解决方案 #

方案1：手动执行truncate后追加写入（适配所有Spark版本，无需额外配置） #

先通过JDBC直连执行符合DB2语法的清空语句，再用append模式写入数据，代码示例（PySpark）：

import java.sql.DriverManager

# 先执行TRUNCATE清空表
conn = DriverManager.getConnection(fullJdbcUrl, props["user"], props["password"])
truncate_stmt = conn.createStatement()
truncate_stmt.execute(f"TRUNCATE TABLE {tableName} IMMEDIATE")
truncate_stmt.close()
conn.close()

# 追加写入数据
df.write.mode("append").jdbc(fullJdbcUrl, tableName, properties=props)

方案2：注册自定义DB2方言（支持原生truncate参数写法） #

重写DB2方言的truncate语句生成逻辑，注册后即可直接使用你原来的带truncate=true的写入代码：

from pyspark.sql.jdbc import JdbcDialect, JdbcDialects

class CustomDB2Dialect(JdbcDialect):
    def canHandle(self, url: str) -> bool:
        return url.startswith("jdbc:db2")
    
    def getTruncateQuery(self, table: str, cascade: bool) -> str:
        return f"TRUNCATE TABLE {table} IMMEDIATE"

# 注册自定义方言，必须在写入操作前执行
JdbcDialects.registerDialect(CustomDB2Dialect())

# 原生写法即可正常执行
df.write.option("truncate", "true").mode("overwrite").jdbc(fullJdbcUrl, tableName, properties=props)

额外说明 #

Spark 3.2及以上版本已经官方修复了DB2 truncate语句的适配问题，如果你可以升级Spark版本，升级到3.2+之后直接使用option("truncate", "true")的原生写法即可正常运行。你当前使用的Spark 3.1.1版本不支持DataFrameWriterV2的DB2适配，暂时不需要采用该方案。

内容的提问来源于stack exchange，提问作者Glarixon