非Spark环境下从S3流式读取Parquet文件遇OSError求助

问题原因 #

Parquet文件的元数据（行组信息、Schema等）存储在文件末尾，ParquetFile初始化时需要**随机访问（seek）**文件读取这些元数据，但S3的open_input_stream返回的是单向流式的不可查找文件，因此触发该错误。

解决方案 #

方案1：直接用S3路径初始化ParquetFile（推荐） #

PyArrow的ParquetFile支持直接传入S3路径并指定文件系统，内部会自动处理可查找的文件访问，无需手动打开流：

from pyarrow import fs
from pyarrow.parquet import ParquetFile

s3 = fs.S3FileSystem(access_key=aws_key, secret_key=aws_secret)
# 直接传入S3路径和文件系统，内部自动处理可查找访问
parquet_file = ParquetFile(filepath, filesystem=s3)
for batch in parquet_file.iter_batches():
    # 处理每个批次的数据
    print(batch.num_rows)

方案2：下载到本地临时文件（适合小文件） #

将S3上的Parquet文件先下载到本地临时文件（本地文件支持随机访问），再初始化ParquetFile：

from pyarrow import fs
from pyarrow.parquet import ParquetFile
import tempfile
import os

s3 = fs.S3FileSystem(access_key=aws_key, secret_key=aws_secret)
# 创建临时文件
with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
    tmp_path = tmp_file.name

try:
    # 从S3下载文件到本地临时路径
    s3.download(filepath, tmp_path)
    # 用本地文件初始化ParquetFile
    parquet_file = ParquetFile(tmp_path)
    for batch in parquet_file.iter_batches():
        # 处理批次数据
        print(batch.num_rows)
finally:
    # 清理临时文件
    os.unlink(tmp_path)

方案3：逐行组读取大文件（避免全量下载） #

如果文件过大，可先读取元数据，再逐个读取行组处理：

from pyarrow import fs
from pyarrow.parquet import ParquetFile, read_row_group

s3 = fs.S3FileSystem(access_key=aws_key, secret_key=aws_secret)
# 获取文件元数据
parquet_file = ParquetFile(filepath, filesystem=s3)
# 遍历所有行组
for row_group_idx in range(parquet_file.num_row_groups):
    # 读取单个行组
    row_group = read_row_group(row_group_idx, filepath, filesystem=s3)
    # 处理行组数据
    print(row_group.num_rows)

关键提示 #

• 不要直接用s3.open_input_stream返回的流初始化ParquetFile，该流不支持随机访问，无法满足Parquet元数据读取需求
• 优先选择方案1，代码简洁且PyArrow内部已针对S3文件做了优化

内容的提问来源于stack exchange，提问作者Damian Satterthwaite-Phillips