AWS Glue中是否有方法可以拼接合并多个DynamicFrame对象？

以下为两种常见拼接场景的可落地实现方式： #

场景1：所有表结构一致，需按行合并为单个DynamicFrame #

操作逻辑：取出DynamicFrameCollection中的所有DynamicFrame实例，转换为Spark DataFrame执行union操作后再转回DynamicFrame即可。
示例代码：

from awsglue.dynamicframe import DynamicFrame

# 从DynamicFrameCollection中获取所有DynamicFrame对象
dynamic_frame_list = dfc.values()

# 转Spark DataFrame后按字段名合并
merged_spark_df = dynamic_frame_list[0].toDF()
for dyf in dynamic_frame_list[1:]:
    merged_spark_df = merged_spark_df.unionByName(dyf.toDF(), allowMissingColumns=True)

# 转换回Glue DynamicFrame
merged_dyf = DynamicFrame.fromDF(merged_spark_df, glueContext, "merged_dynamic_frame")

说明：

• unionByName会根据字段名匹配合并，避免字段顺序不一致导致的数据错位
• allowMissingColumns参数设为True可兼容部分表存在独有字段的场景，缺失字段会自动填充null值

场景2：表结构不同，需关联为嵌套复合结构 #

操作逻辑：将所有DynamicFrame注册为Spark临时视图，通过SQL构造嵌套复合字段后转回DynamicFrame。
示例代码：

# 批量注册所有DynamicFrame为临时视图
for view_name, dyf in df_dic.items():
    dyf.toDF().createOrReplaceTempView(view_name)

# 通过Spark SQL构造复合结构，示例为按公共ID关联多表生成嵌套字段
composite_spark_df = glueContext.spark_session.sql("""
    SELECT
        t0.*,
        struct(t1.*) as datasource1_attrs,
        struct(tn.*) as datasourcen_attrs
    FROM datasource0 t0
    LEFT JOIN datasource1 t1 ON t0.common_id = t1.common_id
    LEFT JOIN datasourcen tn ON t0.common_id = tn.common_id
""")

# 转换回Glue DynamicFrame
composite_dyf = DynamicFrame.fromDF(composite_spark_df, glueContext, "composite_dynamic_frame")

注意事项 #

• 无需提前将多个DynamicFrame封装为DynamicFrameCollection，可直接对读取到的datasource0等实例做上述处理，DynamicFrameCollection本身仅为批量管理DynamicFrame的容器，无复杂变换接口为设计常态
• 数据量较大时建议提前过滤每个DynamicFrame的无用字段，减少shuffle阶段的数据传输开销，提升任务运行效率

内容的提问来源于stack exchange，提问作者Miguel Rueda