Python中适配PyArrow的稳定S3文件系统实现方案咨询

1. 优先选择PyArrow官方自带的S3FileSystem #

PyArrow本身提供了稳定、生产可用的pyarrow.fs.S3FileSystem，无需依赖处于Beta阶段的s3fs，这是官方维护的实现，适配性和稳定性更有保障。

替换你当前代码的示例如下：

import pyarrow as pa
import pyarrow.fs as fs

# 初始化PyArrow的S3文件系统
s3_fs = fs.S3FileSystem()

# 调用write_to_dataset
pa.parquet.write_to_dataset(
    table,
    root_path=output_folder,
    filesystem=s3_fs,
    compression='snappy',
    partition_filename_cb=lambda x: filename
)

如果需要自定义S3配置（比如指定凭证、区域），可以直接在初始化时传入参数，或通过环境变量、AWS配置文件自动加载：

# 带自定义配置的初始化示例
s3_fs = fs.S3FileSystem(
    access_key="your_access_key",
    secret_key="your_secret_key",
    region="us-east-1"
)

2. 关于s3fs的生产可用性补充 #

虽然s3fs标注为Beta，但它在实际生产场景中已被大量使用，社区活跃度高，大部分核心功能已经稳定。如果你的代码已经基于s3fs运行良好，也可以继续使用，遇到问题时优先查看官方更新和社区解决方案。

3. 结合boto3实现的方案 #

PyArrow的S3FileSystem底层支持通过boto3的session来配置，如果你已经有成熟的boto3环境配置，可以直接复用：

import boto3
import pyarrow.fs as fs

# 初始化boto3 session
session = boto3.Session(
    aws_access_key_id="your_access_key",
    aws_secret_access_key="your_secret_key",
    region_name="us-east-1"
)

# 基于boto3 session创建PyArrow的S3文件系统
s3_fs = fs.S3FileSystem(session=session)

# 后续写入代码与之前一致
pa.parquet.write_to_dataset(...)

这种方式既利用了boto3的成熟生态，又能直接对接PyArrow的write_to_dataset，无需额外封装逻辑。

内容的提问来源于stack exchange，提问作者amber_coder