如何在Databricks中按写入顺序读取Avro文件并保留原始顺序？

一、保证读取顺序与存储一致 #

Avro文件本身是按写入顺序存储记录的，只要使用标准Avro读取库（比如Java的Avro库、Python的fastavro/avro库）以顺序方式读取，就能直接得到原始写入顺序，不需要额外处理。

Avro文件结构为「文件头 + 多个数据块」，每个数据块内的记录严格按写入顺序排列。只要不做并行分片读取、不手动打乱顺序，普通的顺序读取就能保证和写入时的顺序完全一致。

二、获取记录的位置标识（行号/偏移量） #

如果需要给记录添加“文件内位置标识”，可以通过以下两种方式实现：

1. 手动维护连续行号 #

在读取过程中自行维护一个计数器，每读取一条记录就将计数器加1，这个值就是对应记录的连续行号，完全匹配写入顺序。

示例（Python + fastavro）：

from fastavro import reader

with open("your_data.avro", "rb") as f:
    avro_reader = reader(f)
    line_count = 0
    for record in avro_reader:
        line_count += 1
        record["sequence_num"] = line_count  # 给记录追加行号字段
        # 后续处理逻辑

2. 获取文件字节偏移量 #

如果需要更精确的文件位置（比如记录在文件中的起始字节偏移），可以利用读取库的API：

• Java Avro库：结合SeekableInput和DatumReader，读取每条记录前获取当前输入流的位置。
• Python avro库：通过reader.raw_decoder.input.tell()获取文件指针位置，但仅适用于未压缩的Avro文件——如果文件使用了Snappy、Deflate等压缩格式，数据块是整体压缩的，单条记录的字节偏移没有实际定位意义，这种情况更推荐用手动行号的方式。

内容的提问来源于stack exchange，提问作者Sio