如何通过Node.js的BigQuery Storage Write API写入数据到BigQuery

@google-cloud/bigquery-storage 2.7.0及以上版本已经支持通过BigQuery Write API完成数据直接写入，支持Pending模式实现批量数据的原子化写入操作，目前已经有开发者在生产环境验证了该方案的可行性。

具体使用步骤 #

• 安装对应版本依赖
  执行安装命令：

  npm install @google-cloud/bigquery-storage@^2.7.0
  

• 提前配置权限，确保使用的服务账号拥有目标BigQuery数据集、表的写入权限
• 核心写入代码示例：

  const { BigQueryWriteClient } = require('@google-cloud/bigquery-storage');
  // 初始化客户端，可传入服务账号密钥路径参数，默认读取环境变量配置
  const client = new BigQueryWriteClient();
  
  // 替换为实际的项目ID、数据集ID、表名
  const TABLE_PARENT = client.tablePath('your-project-id', 'your-dataset-id', 'your-table-name');
  
  async function batchWriteRowsToBigQuery(rows) {
    // 创建Pending类型的写入流，未提交前数据不会落盘
    const [writeStream] = await client.createWriteStream({
      parent: TABLE_PARENT,
      writeStream: { type: 'PENDING' }
    });
    const streamId = writeStream.name;
  
    // 构造待写入数据，字段顺序、类型必须和目标表结构完全匹配
    const requestData = {
      writeStream: streamId,
      protoRows: {
        writerSchema: { /* 填入和目标表对应的schema定义 */ },
        rows: rows.map(item => ({ values: Object.values(item) }))
      }
    };
  
    // 写入批量数据
    await client.appendRows(requestData);
    // 结束写入流
    await client.finalizeWriteStream({ name: streamId });
    // 提交写入，完成原子化落盘，提交后数据可查询
    await client.batchCommitWriteStreams({
      parent: TABLE_PARENT,
      writeStreams: [streamId]
    });
  }
  

注意：如果写入时出现schema不匹配相关报错，可优先检查字段顺序、数据类型是否和目标BigQuery表定义完全一致

目前官方暂未放出完整的Node.js端使用文档，上述方案为社区实测可用的实现方式，相关功能的示例征集仍在迭代中。

内容的提问来源于stack exchange，提问作者Matt Byrne