使用Apps Script将Google BigQuery表导出至Google Cloud Storage

你遇到的核心问题很明确：你的代码只是定义了导出任务的配置对象，但完全没有调用BigQuery的API来提交这个任务——相当于你写好了快递单，但根本没把快递交给快递员，自然不会有文件生成到GCS桶里。

下面是修正后的完整代码，以及关键要点解释：

修正后的可运行代码 #

function SQLTest() { 
  var projectId = 'xx_my_project'; 
  var datasetId = 'xx_my_dataset'; 
  var tableId = 'xx_my_table'; 
  var destinationUris = 'gs://my_bucket/my_file.json'; 
  var destinationFormat = 'NEWLINE_DELIMITED_JSON'; 

  // 1. 构建导出任务的配置（这部分你原来的代码是对的）
  var job = { 
    configuration: { 
      extract: { 
        sourceTable: { 
          projectId: projectId, 
          datasetId: datasetId, 
          tableId: tableId 
        }, 
        destinationUris: [destinationUris], 
        destinationFormat: destinationFormat 
      } 
    } 
  };

  // 2. 关键步骤：提交任务到BigQuery执行（你之前缺失的核心逻辑）
  try {
    // 提交导出任务
    var response = BigQuery.Jobs.insert(job, projectId);
    console.log('导出任务已提交，Job ID: ' + response.jobReference.jobId);

    // 可选：等待任务完成并确认状态（适合调试，定时任务可移除）
    var jobStatus = BigQuery.Jobs.get(projectId, response.jobReference.jobId);
    while (jobStatus.status.state !== 'DONE') {
      Utilities.sleep(5000); // 每5秒查询一次任务状态
      jobStatus = BigQuery.Jobs.get(projectId, response.jobReference.jobId);
    }

    // 检查任务是否成功
    if (jobStatus.status.errorResult) {
      console.error('任务执行失败：' + jobStatus.status.errorResult.message);
    } else {
      console.log('导出任务完成！文件已生成到指定存储桶');
    }
  } catch (err) {
    console.error('提交任务时出错：' + err.message);
  }
}

关键修正点说明 #

1. 添加任务提交逻辑
   必须调用BigQuery.Jobs.insert(job, projectId)来触发BigQuery的导出作业——这是你原来代码最核心的缺失部分。

2. 启用BigQuery服务
   在运行代码前，需要先在Apps Script编辑器中启用BigQuery服务：

   • 点击左侧面板的「服务」→ 点击「+」按钮 → 找到「BigQuery」并添加。

3. 错误处理与日志
   加入try-catch块和日志输出，方便你在Apps Script的「查看」→「日志」中排查问题，比如权限错误、表不存在等。

4. 定时运行设置
   要实现定时频繁运行，需要添加时间驱动触发器：

   • 点击编辑器顶部的「编辑」→「当前项目的触发器」→ 点击「添加触发器」
   • 选择SQLTest函数，触发类型选「时间驱动」，设置你需要的运行频率（比如每小时、每天等）

额外注意事项 #

• 确保运行脚本的账号拥有：BigQuery数据读取权限、BigQuery作业运行权限、GCS存储桶的写入权限（你Web UI能导出，权限应该没问题，但如果还是失败可以检查IAM配置）。
• 如果导出的表数据量很大，建议不要使用等待任务完成的逻辑（避免脚本超时），可以通过BigQuery的作业日志单独监控任务状态。

内容的提问来源于stack exchange，提问作者Christos O