如何通过Glue将Struct类型列映射到RDS Postgres的jsonb列

问题原因 #

Glue的JDBC写入组件无法直接将Struct类型映射到Postgres的jsonb类型，因此需要先把Struct转换为合法的JSON字符串，再写入jsonb列（Postgres会自动将合规的JSON字符串解析为jsonb格式）。

可视化ETL作业解决方案 #

1. 在数据流中插入**自定义转换（Custom Transform）**节点，置于S3数据读取节点与Postgres写入节点之间。
2. 在自定义转换中编写转换逻辑（以Python为例），将Struct类型的address列转为JSON字符串：

import json
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType
from awsglue.dynamicframe import DynamicFrame

def struct_to_json(struct_val):
    return json.dumps(struct_val.asDict())

struct_to_json_udf = udf(struct_to_json, StringType())

def apply_transform(input_dynamic_frame, glue_context):
    # 转换为Spark DataFrame处理
    df = input_dynamic_frame.toDF()
    # 替换address列为JSON字符串
    transformed_df = df.withColumn("address", struct_to_json_udf(df["address"]))
    # 转回DynamicFrame供后续节点使用
    return DynamicFrame.fromDF(transformed_df, glue_context, "transformed_address")

3. 配置自定义转换的输入输出映射，确保输出的address列被识别为字符串类型。
4. 在Postgres写入节点中，将转换后的address字符串列直接映射到目标表的address（jsonb）列，执行写入即可。

脚本ETL作业简化方案 #

如果使用代码脚本ETL，可直接利用Spark内置的to_json函数完成转换，无需自定义UDF：

from pyspark.sql.functions import to_json
from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glue_context = GlueContext(sc)

# 读取S3目录表数据
s3_dyf = glue_context.create_dynamic_frame.from_catalog(
    database="your_database_name",
    table_name="customer_from_s3"
)

# 转换为DataFrame并处理address列
df = s3_dyf.toDF()
transformed_df = df.withColumn("address", to_json(df["address"]))

# 转换回DynamicFrame写入Postgres
transformed_dyf = glue_context.create_dynamic_frame.from_df(transformed_df, glue_context, "transformed_dyf")
glue_context.write_dynamic_frame.from_jdbc_conf(
    frame=transformed_dyf,
    catalog_connection="your_postgres_connection_name",
    connection_options={"dbtable": "customer_rds", "database": "your_rds_database"},
    transformation_ctx="write_to_postgres"
)

注意事项 #

• 确保转换后的JSON字符串格式合法，避免Postgres解析失败。
• 嵌套Struct结构无需额外处理，to_json或自定义UDF均可正确生成嵌套JSON字符串。

内容的提问来源于stack exchange，提问作者Sophie Sun