从外部服务器传输至GCS的文件损坏问题及内存友好型方案需求

原代码中文件损坏的核心问题有两个：

• response.raw 默认不会自动解码HTTP响应的压缩内容（如gzip/deflate），如果外部服务器返回压缩后的文件流，直接上传会把压缩字节写入GCS，导致文件损坏。
• response.raw 是非seekable流，而GCS客户端的upload_from_file在部分场景下需要流支持seek操作，可能引发传输不完整。

以下方案既保持流式处理（不加载整个文件到内存），又能确保文件完整性，适配不同大小的文件：

1. 基础修复：启用内容解码与流包装 #

修改requests请求参数，添加解码配置并包装流以提供seek能力：

import io
import requests
from google.cloud import storage

storage_client = storage.Client()
bucket = storage_client.get_bucket(GCS_BUCKET)
blob = bucket.blob(gcs_full_path)

with requests.get(external_url, stream=True) as response:
    response.raise_for_status()
    # 强制解码压缩内容，避免上传原始压缩字节
    response.raw.decode_content = True
    # 用BufferedReader包装流，提供seekable支持（适配GCS客户端要求）
    buffered_stream = io.BufferedReader(response.raw)
    content_type = response.headers.get('Content-Type') or f"application/{file_content_type}"
    blob.upload_from_file(buffered_stream, content_type=content_type)

2. 分块上传：优化大文件内存占用 #

针对超大文件，通过指定chunk_size启用分块上传，进一步降低内存压力：

import io
import requests
from google.cloud import storage

storage_client = storage.Client()
bucket = storage_client.get_bucket(GCS_BUCKET)
blob = bucket.blob(gcs_full_path)

# 设置分块大小（示例为10MB，可根据需求调整）
CHUNK_SIZE = 10 * 1024 * 1024

with requests.get(external_url, stream=True) as response:
    response.raise_for_status()
    response.raw.decode_content = True
    buffered_stream = io.BufferedReader(response.raw)
    content_type = response.headers.get('Content-Type') or f"application/{file_content_type}"
    # 启用分块上传
    blob.upload_from_file(buffered_stream, content_type=content_type, chunk_size=CHUNK_SIZE)

3. 可恢复上传：应对网络中断场景 #

如果文件传输时容易遇到网络不稳定，可启用可恢复上传，中断后无需重新传输全部内容：

import io
import requests
from google.cloud import storage

storage_client = storage.Client()
bucket = storage_client.get_bucket(GCS_BUCKET)
blob = bucket.blob(gcs_full_path)

with requests.get(external_url, stream=True) as response:
    response.raise_for_status()
    response.raw.decode_content = True
    buffered_stream = io.BufferedReader(response.raw)
    content_type = response.headers.get('Content-Type') or f"application/{file_content_type}"
    # 启动可恢复上传
    blob.upload_from_file(
        buffered_stream,
        content_type=content_type,
        resumable=True,
        chunk_size=10 * 1024 * 1024
    )

用你提供的示例PDF URL测试上述代码，上传后的文件可正常打开，且内存占用仅为当前处理块的大小，远低于upload_from_string方案。

内容的提问来源于stack exchange，提问作者Dev Patel