如何利用公钥与GPG自动加密GCS Bucket中的文件

一、GCS桶加密的理解确认 #

你的理解是对的：

• GCS的服务器端加密（包括默认SSE-GCS、自定义密钥SSE-C、KMS密钥SSE-KMS）仅作用于文件存储阶段——数据写入桶时自动加密，磁盘存储为密文；但下载或通过API读取时，GCP会自动解密为明文返回，传输过程用HTTPS加密，最终你拿到的是原始明文文件。
• 这种加密属于“存储层面保护”，和你需要的“端到端加密”（仅持对应私钥的主体可解密，数据在传输/存储环节被获取也无法破解）不是同一范畴，所以仍需用自身公钥完成文件加密。

二、优化大文件加密流程（避免下载再上传） #

你原本采用的Cloud Build方案需要先下载5GB文件到构建环境，再加密上传，耗时且占用带宽，推荐以下两种流式处理方案，直接在内存中处理数据流，无需落地完整文件：

方案1：Cloud Functions（轻量灵活，适合单文件触发） #

利用GCS流式读写API直接处理文件流，步骤如下：

1. 给源GCS桶配置Pub/Sub通知，新文件上传时自动触发Cloud Function。
2. 函数内核心操作：
   • 从Secret Manager拉取GPG公钥（避免硬编码，保障安全）。
   • 流式读取源桶文件内容。
   • 用公钥对流式数据加密。
   • 加密后的流直接写入目标桶，自动添加.gpg后缀。

示例Python代码：

import pgpy
from google.cloud import storage
from google.cloud import secretmanager

def encrypt_on_gcs_upload(event, context):
    # 初始化客户端
    storage_client = storage.Client()
    secret_client = secretmanager.SecretManagerServiceClient()

    # 获取事件中的源文件信息
    source_bucket = event['bucket']
    source_file = event['name']
    target_bucket = "你的目标桶名称"
    target_file = f"{source_file}.gpg"

    # 从Secret Manager读取公钥
    secret_path = "projects/你的项目ID/secrets/gpg-public-key/versions/latest"
    secret_response = secret_client.access_secret_version(request={"name": secret_path})
    pubkey_content = secret_response.payload.data.decode("utf-8")
    pubkey, _ = pgpy.PGPKey.from_blob(pubkey_content)

    # 流式处理：读源文件→加密→写目标文件
    source_blob = storage_client.bucket(source_bucket).blob(source_file)
    target_blob = storage_client.bucket(target_bucket).blob(target_file)

    with target_blob.open("wb") as target_stream:
        with source_blob.open("rb") as source_stream:
            # 将源流转为PGP消息并加密
            pgp_msg = pgpy.PGPMessage.from_file(source_stream)
            encrypted_msg = pubkey.encrypt(pgp_msg)
            # 写入加密后的数据
            target_stream.write(bytes(encrypted_msg))

方案2：Dataflow（适合批量/超大文件处理） #

若需处理大量大文件，Dataflow的分布式流式处理更适配：

• 配置Dataflow作业监听源桶新文件事件，或定期扫描源桶。
• 通过Dataflow的GCSIO读取文件流，添加自定义转换步骤完成GPG加密。
• 加密后的流直接写入目标桶，自动添加后缀。
• Dataflow会自动分片处理大文件，避免内存溢出，支持TB级文件处理。

方案对比 #

三、额外注意事项 #

• 权限配置：确保Cloud Function/Dataflow拥有源桶读取权限、目标桶写入权限、Secret Manager读取权限。
• 内存配置：Cloud Function需调整足够内存（处理5GB流建议至少配置2GB），避免内存溢出。
• 错误处理：添加GCS操作重试机制和失败告警，保障流程可靠性。

内容的提问来源于stack exchange，提问作者ETDeveloper