Pandas分块写入GCS CSV时追加模式失效问题求助

问题根源 #

GCS（Google Cloud Storage）属于对象存储服务，不支持传统文件系统的追加写入逻辑。当你在pandas.to_csv中使用mode='a'指向GCS路径时，pandas底层并非真正在原对象上追加内容，而是尝试先下载原文件、追加数据后重新上传覆盖。但在分块处理场景下，这个逻辑会因为对象存储的一致性特性或pandas的实现限制失效，导致每次写入都直接覆盖原有文件，最终仅保留最后一个分块。

解决方案 #

推荐先将所有分块数据写入本地临时文件，完成后再一次性上传到GCS，既规避对象存储的追加限制，也能提升写入效率。

修改后的代码示例：

import pandas as pd
from google.cloud import storage
import tempfile
import os

# 解析GCS目标路径
bucket_name, target_blob_path = temp_gs_path.replace("gs://", "").split("/", 1)
# 初始化GCS客户端
storage_client = storage.Client()
bucket = storage_client.bucket(bucket_name)

# 创建本地临时文件存储所有分块数据
with tempfile.NamedTemporaryFile(mode='w+', delete=False, suffix='.csv') as local_temp_file:
    write_header = True
    # 分块读取源文件
    with pd.read_csv(gs_path, chunksize=100000) as reader:
        for chunk in reader:
            # 写入本地临时文件，仅第一次写入表头
            chunk.to_csv(local_temp_file, index=False, header=write_header, mode='a')
            write_header = False
    
    # 将文件指针移至开头，准备上传
    local_temp_file.seek(0)
    # 上传临时文件到GCS
    target_blob = bucket.blob(target_blob_path)
    target_blob.upload_from_file(local_temp_file)

# 清理本地临时文件
os.unlink(local_temp_file.name)

轻量替代方案（小数据场景） #

如果数据量较小、不会超出内存限制，也可以用内存缓冲区拼接所有分块后再上传：

import pandas as pd
from google.cloud import storage
from io import StringIO

# 解析GCS目标路径
bucket_name, target_blob_path = temp_gs_path.replace("gs://", "").split("/", 1)
storage_client = storage.Client()
bucket = storage_client.bucket(bucket_name)

output_buffer = StringIO()
write_header = True

# 分块读取并拼接至内存缓冲区
with pd.read_csv(gs_path, chunksize=100000) as reader:
    for chunk in reader:
        chunk.to_csv(output_buffer, index=False, header=write_header, mode='a')
        write_header = False

# 上传内存中的数据到GCS
output_buffer.seek(0)
target_blob = bucket.blob(target_blob_path)
target_blob.upload_from_string(output_buffer.getvalue())

内容的提问来源于stack exchange，提问作者Courvoisier