PySpark写入Redshift时JSON数据带转义符问题求助

核心原因 #

你的问题本质是Spark将Postgres的JSON列读取为字符串类型，写入Redshift时会把整个字符串当作普通文本处理，自动添加转义符和外层引号。

解决方案步骤 #

1. 读取Postgres时正确解析JSON列 #

读取Postgres数据时，显式把JSON字符串解析为Spark的StructType或MapType，而非保留为字符串。示例代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_json
from pyspark.sql.types import StructType, StructField, StringType

spark = SparkSession.builder.appName("PostgresToRedshift").getOrCreate()

# 定义JSON列的Schema（根据实际JSON结构调整）
json_schema = StructType([
    StructField("logo", StringType(), nullable=True),
    StructField("name", StringType(), nullable=True)
])

# 读取Postgres数据
df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql://your-postgres-host:5432/db-name") \
    .option("dbtable", "your-source-table") \
    .option("user", "postgres-user") \
    .option("password", "postgres-password") \
    .load()

# 将字符串类型的JSON列解析为Struct类型
df_parsed = df.withColumn("json_column", from_json(df["json_column"], json_schema))

2. 写入Redshift时转换回原生JSON字符串 #

如果Redshift目标列是VARCHAR或JSON类型，用to_json函数把Spark的Struct/Map类型转换为无转义的JSON字符串：

from pyspark.sql.functions import to_json

# 转换为原生JSON字符串
df_final = df_parsed.withColumn("json_column", to_json(df_parsed["json_column"]))

# 写入Redshift
df_final.write \
    .format("com.databricks.spark.redshift") \
    .option("url", "jdbc:redshift://your-redshift-host:5439/db-name?user=redshift-user&password=redshift-password") \
    .option("dbtable", "your-target-table") \
    .option("tempdir", "s3://your-temp-bucket/path/") \
    .option("aws_iam_role", "arn:aws:iam::account-id:role/redshift-role") \
    .mode("overwrite") \
    .save()

3. 简化方案（无需解析JSON内部结构） #

如果不需要操作JSON内部字段，直接在写入时禁用字符串转义：

# 直接写入字符串类型的JSON列，禁用转义
df.write \
    .format("com.databricks.spark.redshift") \
    .option("url", "redshift-jdbc-url") \
    .option("dbtable", "target-table") \
    .option("tempdir", "s3-temp-path") \
    .option("aws_iam_role", "iam-role-arn") \
    .option("escape", "")  # 关键：禁用转义
    .mode("overwrite") \
    .save()

注意：escape参数需确认你的Redshift Spark连接器版本支持，部分新版本可能需要其他参数控制转义逻辑。

验证方法 #

写入后查询Redshift目标表：

SELECT json_column FROM your-target-table LIMIT 1;

应得到无转义的JSON：{"logo":"xyz", "name":"abc"}

内容的提问来源于stack exchange，提问作者vish anand