如何将Google Drive文件夹文件自动上传至GCP存储桶？

以下是几种实用的实现方式，可根据你的后续数据处理需求选择：

方案1：Google Apps Script + Cloud Storage API（轻量无服务器，低成本） #

适合简单的文件同步场景，无需额外GCP资源成本：

• 打开目标Google Drive文件夹，右键选择「更多」→「Apps Script」
• 编写脚本逻辑：监听文件夹内的文件新增事件，将文件Blob上传到GCP存储桶
  示例核心代码片段：

  // 启用Cloud Storage高级服务后可直接调用
  function syncToGCS() {
    const driveFolder = DriveApp.getFolderById("YOUR_DRIVE_FOLDER_ID");
    const gcsBucketName = "YOUR_GCS_BUCKET_NAME";
    const files = driveFolder.getFilesByType(MimeType.CSV);
    
    while (files.hasNext()) {
      const file = files.next();
      // 上传到GCS，可添加前缀区分文件
      CloudStorage.GcsObjects.insert(
        {name: `ingested/${file.getName()}`},
        gcsBucketName,
        file.getBlob(),
        {contentType: MimeType.CSV}
      );
      // 可选：上传后将文件移至归档文件夹
      file.moveTo(DriveApp.getFolderById("YOUR_ARCHIVE_FOLDER_ID"));
    }
  }
  

• 设置触发器：在Apps Script编辑器的「编辑」→「当前项目的触发器」中，添加「时间驱动」触发器（比如每小时运行一次），或「onChange」触发器（当文件夹有文件新增时触发）
• 授权：首次运行脚本时，完成Drive和Cloud Storage的权限授权

方案2：Cloud Functions + Google Drive API（灵活扩展，适配复杂逻辑） #

适合需要和其他GCP服务（如BigQuery、Cloud Dataflow）集成，或需要自定义复杂处理逻辑的场景：

• 在GCP控制台启用「Google Drive API」和「Cloud Functions」服务
• 创建Cloud Function：
  • 选择「Cloud Pub/Sub触发器」（推荐用异步方式处理文件）
  • 编写函数代码（以Node.js为例）：

    const {google} = require('googleapis');
    const {Storage} = require('@google-cloud/storage');
    const storage = new Storage();
    const drive = google.drive({version: 'v3'});
    
    exports.syncDriveToGCS = async (event) => {
      const fileId = event.data.fileId; // 从Drive推送事件中获取文件ID
      const bucket = storage.bucket('YOUR_GCS_BUCKET_NAME');
      
      // 从Drive下载文件流
      const response = await drive.files.get({
        fileId: fileId,
        alt: 'media'
      }, {responseType: 'stream'});
      
      // 上传到GCS
      const writeStream = bucket.file(`ingested/${response.data.name}`).createWriteStream();
      response.data.pipe(writeStream);
      
      await new Promise((resolve, reject) => {
        writeStream.on('finish', resolve);
        writeStream.on('error', reject);
      });
    };
    

• 配置Drive推送通知：通过Drive API设置将目标文件夹的变更事件推送到Cloud Pub/Sub主题，触发Cloud Function运行

方案3：Cloud Data Fusion（端到端ETL一体化，适配后续数据处理） #

如果你后续需要完成数据清洗、加载到数据库的流程，Cloud Data Fusion是更一体化的选择：

• 在GCP控制台创建Cloud Data Fusion实例
• 在Data Fusion界面中，配置「Google Drive」作为数据源（指定目标文件夹、CSV文件类型），「Cloud Storage」作为目标存储桶
• 设置调度任务（比如每日定时运行），自动同步Drive中的CSV文件到GCS，同时可在同一个管道中添加数据清洗、转换节点，直接对接后续的数据库（如BigQuery）和可视化工具

选择建议 #

• 仅需简单同步：选方案1，成本低、易实现
• 需要复杂逻辑或集成其他GCP服务：选方案2，灵活性高
• 需要端到端ETL流程（同步+清洗+加载）：选方案3，减少后续流程的衔接成本

内容的提问来源于stack exchange，提问作者Levi Kitema