如何在嵌套Avro Generic Record中读写值（Apache Beam Pardo）

你在使用Apache Beam的ParDo组件处理Avro Generic Record时，已能访问第一层字段，但无法获取深层嵌套内容。结合你给出的Record结构和现有代码，可通过以下方式解决：

核心思路 #

get("group")返回的是GenericData.Record类型（属于GenericRecord的实现类），只需将其强转为GenericRecord，就能继续调用字段获取方法，逐层深入访问嵌套字段。

具体代码实现 #

@ProcessElement
fun processElement(input: ProcessContext, output: OutputReceiver<GenericRecord>) {
    // 1. 获取外层event对应的GenericRecord
    val eventRecord = input.element().getAsGenericRecord("event")
    // 2. 安全转换group字段为GenericRecord，避免空指针
    val groupRecord = eventRecord.get("group") as? GenericRecord ?: return
    // 3. 获取details层级的GenericRecord
    val detailsRecord = groupRecord.getAsGenericRecord("details") ?: return
    // 4. 获取details下的attributes字段，根据schema定义强转对应类型
    val attributes = detailsRecord.get("attributes") as List<*>
    
    // 后续可对attributes做业务处理，例如输出或进一步解析
    // output.output(...)
}

注意事项 #

• 安全转换：用as?替代直接as，配合?: return可避免字段为空或类型不匹配时抛出异常。
• 类型匹配：如果attributes的元素也是GenericRecord，可强转为List<GenericRecord>做更细致的解析。
• 简化写法（需谨慎）：若确定字段存在且类型正确，可连续调用getAsGenericRecord，但生产环境建议添加空值校验：

  val attributes = input.element()
      .getAsGenericRecord("event")
      .getAsGenericRecord("group")
      .getAsGenericRecord("details")
      .get("attributes") as List<*>
  

内容的提问来源于stack exchange，提问作者Kulasangar