Node.js如何将完整请求对象插入BigQuery的RECORD类型字段

你之前的写法错误原因是SQL语句无法直接识别JS对象变量，且硬写INSERT语句需要手动匹配嵌套RECORD结构，不符合你不想逐个指定字段的需求。

前置检查 #

首先先对齐表结构与请求体字段：你当前提供的表结构中reqData下的重复RECORD字段名为column，但请求体中对应字段为columns，请先将二者修改为一致（建议修改表结构字段名为columns匹配请求体），否则会插入失败。

方案一：使用BigQuery Node.js客户端流式插入（推荐，无需编写SQL） #

这种方式完全不需要手动写INSERT语句，客户端会自动将JS对象映射为BigQuery对应的RECORD、REPEATED类型，实现整对象插入。

第一步：安装依赖 #

npm install @google-cloud/bigquery

第二步：实现插入代码 #

const { BigQuery } = require('@google-cloud/bigquery');

// 初始化BigQuery客户端，生产环境建议用环境变量配置认证信息，避免硬编码密钥
const bigquery = new BigQuery({
  projectId: '你的GCP项目ID',
  keyFilename: '你的服务账号密钥文件路径'
});

async function insertReqData(reqBody) {
  // 指定目标数据集和表
  const dataset = bigquery.dataset('你的数据集名称');
  const table = dataset.table('你的表名');

  // 构造插入行，结构和表结构完全匹配即可，无需逐个声明字段
  const rows = [
    {
      reqData: reqBody
    }
  ];

  try {
    await table.insert(rows);
    console.log('插入成功');
  } catch (err) {
    console.error('插入失败:', err);
    // 打印字段不匹配等具体错误详情，便于排查问题
    if (err.name === 'PartialFailureError') {
      err.errors.forEach(item => console.error(item.errors));
    }
  }
}

// 调用示例，直接传入你从客户端获取的reqBody对象即可
const reqBody = {
  "Name":"testing",
  "columns":[
    {
      "fieldExistsIn":"BOTH",
      "columnWidth":5,
      "hide":false
    },
    {
      "fieldExistsIn":"BOTH",
      "columnWidth":10,
      "hide":false
    }
  ],
  "Range":{
    "startDate":"20-Oct-2022",
    "endDate":"26-Oct-2022"
  }
};
insertReqData(reqBody);

方案二：如需手动编写SQL语句，使用参数化查询 #

如果必须通过SQL语句实现，不要直接拼接变量，使用BigQuery的参数化查询传递JSON对象即可，不需要逐个写字段：

async function insertWithSql(reqBody) {
  const query = `
    INSERT INTO \`你的项目ID.你的数据集.你的表名\` (reqData)
    VALUES (@reqData)
  `;

  const options = {
    query: query,
    params: {
      reqData: reqBody
    }
  };

  try {
    await bigquery.query(options);
    console.log('插入成功');
  } catch (err) {
    console.error('插入失败:', err);
  }
}

注意事项 #

• 所有字段名的拼写、大小写必须和表结构完全一致，嵌套层级也要对应
• 如果Range下的startDate、endDate在表结构中定义为DATE类型，需要先将20-Oct-2022格式的字符串转换为YYYY-MM-DD格式再插入，或者直接将表字段类型设为STRING
• 生产环境中不要硬编码服务账号密钥，建议通过GCP默认服务账号、环境变量等方式配置认证信息

内容的提问来源于stack exchange，提问作者user1187