如何通过编程方式从Kubernetes Pod复制文件到GCP Storage？

方案1：在SpringBoot应用内通过GCP客户端库直接上传 #

无需额外工具，在应用代码中集成GCS上传逻辑，是最直接的方式：

• 先添加Maven依赖：

<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-storage</artifactId>
    <version>2.28.0</version> <!-- 替换为最新稳定版 -->
</dependency>

• 编写上传代码示例：

import com.google.cloud.storage.BlobId;
import com.google.cloud.storage.BlobInfo;
import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import java.nio.file.Files;
import java.nio.file.Paths;

public class GcsFileUploader {
    public void uploadToGcs(String bucketName, String targetFileName, String localFilePath) {
        Storage storage = StorageOptions.getDefaultInstance().getService();
        BlobId blobId = BlobId.of(bucketName, targetFileName);
        BlobInfo blobInfo = BlobInfo.newBuilder(blobId).build();
        
        try {
            storage.create(blobInfo, Files.readAllBytes(Paths.get(localFilePath)));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

• 给Pod绑定权限：
  1. 创建具备Storage Object Creator角色的服务账号：

     gcloud iam service-accounts create springboot-gcs-sa
     gcloud projects add-iam-policy-binding YOUR_PROJECT_ID \
         --member "serviceAccount:springboot-gcs-sa@YOUR_PROJECT_ID.iam.gserviceaccount.com" \
         --role "roles/storage.objectCreator"
     

  2. 将服务账号密钥挂载到Pod：

     gcloud iam service-accounts keys create key.json \
         --iam-account springboot-gcs-sa@YOUR_PROJECT_ID.iam.gserviceaccount.com
     kubectl create secret generic gcs-sa-key --from-file=key.json
     

  3. 在Deployment配置中添加挂载和环境变量：

     env:
       - name: GOOGLE_APPLICATION_CREDENTIALS
         value: /var/secrets/google/key.json
     volumeMounts:
       - name: gcs-sa-volume
         mountPath: /var/secrets/google
         readOnly: true
     volumes:
       - name: gcs-sa-volume
         secret:
           secretName: gcs-sa-key
     

方案2：使用gsutil命令行工具上传 #

如果不想修改应用代码，可以在Pod中安装gsutil，通过命令完成上传：

• 构建镜像时安装gsutil（以Ubuntu基础镜像为例）：

  FROM openjdk:17-jdk-slim
  RUN apt-get update && apt-get install -y curl python3 python3-pip
  RUN pip3 install gsutil
  # 后续添加SpringBoot应用部署步骤
  

• 同样给Pod绑定权限后，在应用处理完文件后执行命令：

  gsutil cp /path/to/generated/file gs://your-bucket-name/target-path/
  

  可以把这个命令写入应用启动脚本，或者在代码中调用系统命令执行。

方案3：挂载GCS桶到Pod #

通过Kubernetes CSI驱动将GCS桶作为存储卷挂载到Pod，应用生成的文件直接写入挂载目录即可自动同步到GCS：

• 确保集群已启用GCS CSI插件，然后在Deployment中配置挂载：

  volumes:
    - name: gcs-volume
      persistentVolumeClaim:
        claimName: gcs-pvc
  volumeMounts:
    - name: gcs-volume
      mountPath: /app/gcs-storage
  

  应用处理完数据后，直接将文件写入/app/gcs-storage目录，无需额外上传操作，适合频繁读写GCS的场景。

注意：所有方案都要确保Pod的服务账号拥有对应GCS桶的权限，避免出现权限不足的报错。

内容的提问来源于stack exchange，提问作者Sanjay Naik