如何使用PySpark向Redshift表的指定列插入数据（未指定列默认置空）

没问题，这事儿其实很好解决，核心就是明确指定要插入的列名，让Redshift自动为未指定的列填充空值。下面给你两种可行的方案，你可以根据自己的场景选择：

方案一：写入时直接指定目标表的列名（推荐） #

这是最简洁高效的方式，不用修改原DataFrame，只需要在dbtable参数里明确写出你要插入的列。因为你的DataFrame正好对应Redshift表的前4列，直接对应上就行。

示例代码： #

# 假设你已经有了目标DataFrame df
df.write \
  .format("com.databricks.spark.redshift") \
  .option("url", "jdbc:redshift://your-redshift-endpoint:5439/your-database?user=your-user&password=your-password") \
  .option("dbtable", "admin.audit_of_all_tables(wh_table_name, wh_schema_name, wh_population_method, wh_audit_date)") \
  .option("tempdir", "s3://your-temp-bucket/path/")  # 必须指定S3临时目录，用于Spark和Redshift的数据交换
  .mode("append")  # 根据需求选append/overwrite/ignore等模式
  .save()

关键说明： #

• dbtable里的括号语法是Redshift支持的，明确告诉它只插入这4列，剩下的wh_percent_change和wh_s3_path会自动填充为空值（因为你的表没有设置非空约束）。
• 记得替换代码里的Redshift连接信息、S3临时目录这些参数。
• 如果你用的是AWS Glue或者其他Spark环境，驱动包com.databricks.spark.redshift需要提前配置好。

方案二：给DataFrame添加空列后再写入 #

如果你更习惯先对齐表结构再写入，可以给原DataFrame添加两个值为null的列，列名和Redshift表的最后两列一致：

示例代码： #

from pyspark.sql.functions import lit

# 添加两个空列，匹配Redshift表的剩余列
df_with_all_cols = df \
  .withColumn("wh_percent_change", lit(None).cast("numeric(15,5)")) \
  .withColumn("wh_s3_path", lit(None).cast("string"))

# 然后正常写入Redshift表
df_with_all_cols.write \
  .format("com.databricks.spark.redshift") \
  .option("url", "jdbc:redshift://your-redshift-endpoint:5439/your-database?user=your-user&password=your-password") \
  .option("dbtable", "admin.audit_of_all_tables") \
  .option("tempdir", "s3://your-temp-bucket/path/") \
  .mode("append") \
  .save()

说明： #

• 这里用lit(None)生成空值，并且要指定和Redshift表一致的数据类型，避免类型不匹配的问题。
• 这种方法适合需要严格对齐表结构的场景，但相比方案一多了一步列转换。

注意事项 #

1. 确保你的Spark集群有访问指定S3临时目录的权限，Redshift也需要有读写这个S3目录的权限（通常通过IAM角色配置）。
2. 写入模式mode()要根据你的业务需求选择：append是追加数据，overwrite会清空原表再写入，ignore如果表存在就跳过，error（默认）如果表存在就报错。

内容的提问来源于stack exchange，提问作者Sidhant Gupta