如何在AWS Glue DynamicFrame的Map.apply中访问嵌套JSON/struct字段

你返回空表+取值失败的核心原因有3个：

• DynamicFrame的行记录对象不支持.链式调用访问嵌套struct字段，r.data.values.G1Q1的写法无效
• 直接传入带.的字符串作为key（r["data.values.G1Q1"]）会被识别为访问顶层名为data.values.G1Q1的字段，而非分层访问嵌套结构，自然无法取到值
• 未做空值判断，只要任意一条记录的data或values字段为空，直接访问就会抛出异常，Glue默认会丢弃所有出错的记录，最终输出空表

第一步：验证Unbox操作生效 #

首先确认你已经正确解析了data字段，解析后的结构符合预期：

# 打印Unbox后的schema确认嵌套结构存在
dyf1.printSchema()
# 打印前5条原始数据确认解析结果正常
dyf1.toDF().show(5, truncate=False)

第二步：正确实现Map.apply的自定义处理函数 #

逐层访问嵌套字段，每一步增加空值判断，避免异常导致记录丢失：

def ProcessEntry(r):
    # 用get方法安全取值，字段不存在时返回None不会抛出异常
    data = r.get("data")
    if data:
        values = data.get("values")
        if values:
            r["question1"] = values.get("G1Q1")
    return r

dyf2 = Map.apply(frame = dyf1, f = ProcessEntry)
dyf2.toDF().show()

更高效的替代方案（无需自定义Map） #

如果只是提取嵌套字段新增列，直接转Spark DataFrame用内置语法操作性能更高，代码更简洁：

df = dyf1.toDF()
# 直接用Spark的嵌套字段访问语法新增列
result_df = df.select("*", df["data.values.G1Q1"].alias("question1"))
result_df.show()

内容的提问来源于stack exchange，提问作者Phil