Databricks notebook执行Redshift TRUNCATE TABLE语句报错如何解决？

你使用spark.read接口附带的query参数执行DDL操作不符合com.databricks.spark.redshift连接器的使用规则：query配置项仅支持传入带结果返回的SELECT类查询语句，TRUNCATE是无返回结果的DDL操作，无法被该接口的SQL解析器识别，因此抛出语法错误。

方案1：直接通过JDBC执行TRUNCATE语句（推荐） #

不需要走Spark读写链路，直接建立JDBC连接执行DDL操作，示例代码如下：

import psycopg2

# 构造连接参数
rs_host = "fw-rs-qa.xxxxx.us-east-1.redshift.amazonaws.com"
rs_port = 5439
rs_db = "mydb"
rs_user = credentials['user']
rs_password = credentials['password']

# 建立连接执行TRUNCATE
conn = psycopg2.connect(
    host=rs_host,
    port=rs_port,
    dbname=rs_db,
    user=rs_user,
    password=rs_password
)
cur = conn.cursor()
cur.execute("TRUNCATE TABLE my_table")
conn.commit()
cur.close()
conn.close()

如果集群未安装psycopg2依赖，可先执行%pip install psycopg2-binary安装。

方案2：通过spark-redshift的preactions参数执行 #

如果后续需要紧接着往该表写数据，可以在写操作的preactions配置中传入TRUNCATE语句，会在写数据前自动执行清空：

# 示例为写空DataFrame触发preactions执行，也可以替换为你实际要写入的DataFrame
empty_df = spark.createDataFrame([], schema=target_table_schema)

empty_df.write \
  .format("com.databricks.spark.redshift") \
  .option("url", f"jdbc:postgresql://fw-rs-qa.xxxxx.us-east-1.redshift.amazonaws.com:5439/mydb?user={credentials['user']}&password={credentials['password']}") \
  .option("dbtable", "my_table") \
  .option("tempdir", "s3a://my-bucket/Fish/tmp") \
  .option("forward_spark_s3_credentials", "true") \
  .option("preactions", "TRUNCATE TABLE my_table") \
  .mode("append") \
  .save()

内容的提问来源于stack exchange，提问作者Fisseha Berhane