如何直接将PyArrow Table分块追加写入S3的CSV/TXT文件

核心思路是避免在循环中反复传入文件路径触发覆盖写入，直接通过PyArrow原生支持的S3文件系统打开持续写入的输出流，逐块将CSV格式的分块内容写入流中即可，全程不需要本地临时文件中转。

实现代码 #

import pyarrow.fs as pafs
import pyarrow.csv as pacsv

# 初始化S3文件系统，根据实际环境替换配置参数
s3_fs = pafs.S3FileSystem(
    region="替换为你的S3存储所在区域",
    access_key="替换为你的访问密钥AK",
    secret_key="替换为你的访问密钥SK",
    endpoint_override="使用MinIO/其他S3兼容存储时填写对应服务地址，公有云S3可省略该参数"
)

# 目标S3文件路径，格式为「存储桶名/文件相对路径」，无需加s3://前缀
target_path = "your-bucket-name/myfile.txt"

# 打开S3输出流，基于S3分段上传实现流式写入
with s3_fs.open_output_stream(target_path) as out_stream:
    for chunk_idx, chunk in enumerate(table_chunks):
        write_opts = pacsv.WriteOptions(
            # 仅第一个分块写入表头，后续分块跳过表头
            include_header=(chunk_idx == 0),
            delimiter='|'
        )
        # 直接将分块CSV内容写入已打开的流，不会覆盖前序内容
        pacsv.write_csv(chunk[2], out_stream, write_options=write_opts)

关键说明 #

• 原代码覆盖问题的根源：每次调用pacsv.write_csv传入文件路径字符串时，PyArrow会默认以覆盖截断模式重新打开目标文件，导致前序分块写入的内容被清空。传入已打开的流对象后，所有写入操作复用同一个IO通道，不会触发覆盖。
• 该方案全程在内存中完成分块的CSV序列化与上传，不会生成本地临时文件，符合无中转的需求。
• S3本身是对象存储，无原生文件追加语义，该实现依赖S3 Multipart Upload机制完成写入：流写入过程中S3上不会生成完整可读文件，直到输出流正常关闭，S3才会将所有上传分段组装为最终的完整文件。
• 如果运行环境已经配置了默认S3凭证链（如EC2实例绑定的角色、本地AWS CLI生成的凭证配置文件），初始化S3FileSystem时可以省略显式传入AK/SK参数，SDK会自动从凭证链读取身份信息。
• 如果写入过程意外中断，会残留未完成的分段上传记录，建议给存储桶配置生命周期规则，自动清理超过指定时长的未完成分段，避免产生额外存储成本。

内容的提问来源于stack exchange，提问作者Hasham