Spring Boot中如何生成含Timestamp类型字段的Parquet文件？

核心问题 #

当前JSON Schema将TS字段定义为int64（long）类型，仅存储微秒时间戳数值，未关联Avro的逻辑时间类型，导致Parquet文件中无法识别为Timestamp类型。

正确的JSON Schema配置 #

Avro通过**逻辑类型（logicalType）**将基础类型映射为Parquet的复杂类型。要生成Timestamp<MICROSECOND>，需在TS字段的Schema中指定：

• 基础类型为long（对应Parquet的int64）
• 添加logicalType: "timestamp-micros"标记，告知Avro将该long值解析为微秒级时间戳

完整JSON Schema示例：

{
  "type": "record",
  "name": "EventRecord",
  "fields": [
    {"name": "EVENT", "type": "string"},
    {"name": "EVENT_ID", "type": "long"},
    {"name": "TS", "type": "long", "logicalType": "timestamp-micros"}
  ]
}

数据写入时的处理 #

Java中的LocalDateTime需要转换为微秒级时间戳（long类型），才能匹配Schema的定义：

// 将LocalDateTime转换为UTC时区的微秒时间戳
public static long localDateTimeToMicros(LocalDateTime ts) {
    return ts.atZone(ZoneOffset.UTC)
             .toInstant()
             .toEpochMilli() * 1000 
             + ts.getNano() / 1000;
}

// 写入Parquet的核心代码示例
Schema schema = new Schema.Parser().parse(JSON_SCHEMA);
AvroParquetWriter<GenericRecord> writer = AvroParquetWriter.<GenericRecord>builder(new Path(s3FilePath))
        .withSchema(schema)
        .withWriteMode(ParquetFileWriter.Mode.OVERWRITE)
        .withConf(new Configuration())
        .build();

// 构建事件记录
GenericRecord record = new GenericData.Record(schema);
record.put("EVENT", event.getEVENT());
record.put("EVENT_ID", event.getEVENT_ID());
record.put("TS", localDateTimeToMicros(event.getTS()));

writer.write(record);
writer.close();

验证结果 #

生成Parquet文件后，使用parquet-tools等工具查看字段元数据，会显示TS字段类型为Timestamp(MICROS,true)，且值以可读的时间格式展示（如2024-05-20 14:30:45.123456）。

注意事项 #

• 确保依赖的Avro和Parquet-Avro版本兼容（推荐使用Avro 1.10.0+、Parquet-Avro 1.12.0+）
• 时间戳需基于UTC时区转换，避免时区偏移导致的时间解析错误

内容的提问来源于stack exchange，提问作者Akhouri Soumya Prakash