Athena中如何向struct数组插入符合Parquet规范的空字段

Parquet报嵌套字段非法空值的核心原因是写入值的结构和字段声明的schema不完全匹配，不是空值本身不被允许，针对你给出的events字段结构，按下面的方法操作即可正确插入空值，不会触发校验错误：

• 先确认目标表的events字段没有加NOT NULL约束，如果字段被定义为非空，任何null值写入都会直接报错
• 所有struct类型的写入必须覆盖声明过的全部字段，哪怕字段值为空也不能缺省，缺省字段是触发非法空报错的最常见原因
• 嵌套类型的空值建议显式做类型强转，避免计算引擎自动推断的类型和表schema不匹配

如果业务允许events整列为null，不要直接裸写null赋值，显式将null强转为events对应的类型即可，Spark、Hive、Trino等引擎都支持该写法：

INSERT INTO 你的目标表名
SELECT
  -- 其余字段按你的业务逻辑填写,
  CAST(NULL AS array<struct<status:string,context:map<string,string>,measurements:array<struct<context:map<string,string>,values:map<string,double>,type:string,subType:string,id:string,deviceId:string,timestamp:bigint>>,type:string,subType:string,id:string,deviceId:string,timestamp:bigint>>) AS events
FROM 你的数据源表

如果用Spark DataFrame API写入，不需要手写全量类型，直接读取目标表的schema做cast即可，避免手写结构出错：

val eventsType = spark.read.table("你的目标表名").schema("events").dataType
val resultDF = sourceDF.withColumn("events", lit(null).cast(eventsType))
resultDF.write.mode("append").insertInto("你的目标表名")

如果业务要求events不能为null，无事件时返回空数组，直接赋值长度为0的数组即可，这是Parquet原生支持的合法值，不会触发任何空值校验错误：

INSERT INTO 你的目标表名
SELECT
  -- 其余字段按你的业务逻辑填写,
  array() AS events
FROM 你的数据源表
WHERE -- 筛选需要将events置空的记录

如果需要events数组保留元素结构、但元素内字段为空，构造struct时必须覆盖所有声明的字段，空map、空数组、强转后的null都是合法赋值：

INSERT INTO 你的目标表名
SELECT
  -- 其余字段按你的业务逻辑填写,
  array(
    named_struct(
      'status', CAST(NULL AS string),
      'context', map<string,string>(),
      'measurements', array<struct<context:map<string,string>,values:map<string,double>,type:string,subType:string,id:string,deviceId:string,timestamp:bigint>>(),
      'type', CAST(NULL AS string),
      'subType', CAST(NULL AS string),
      'id', CAST(NULL AS string),
      'deviceId', CAST(NULL AS string),
      'timestamp', CAST(NULL AS bigint)
    )
  ) AS events
FROM 你的数据源表

内容的提问来源于stack exchange，提问作者Ares Bertelli