Node.js 16云函数通过SendGrid Webhook导出数据至GCP BigQuery失败求助

1. 异步操作未等待导致插入中断 #

当前代码中send_to_bq(rows)是异步Promise操作，但调用后立刻返回响应，Cloud Function可能在Promise完成前就终止进程，直接导致数据写入中断。需要改为async/await模式，等待插入完成后再返回响应：

exports.helloWorld = async (req, res) => {
  let message = req.query.message || req.body.message || 'Hello World!';

  const timestamp = new Date().getTime().toString();
  const data = req.body;
  const rows = [];

  // 兼容SendGrid单事件/批量事件两种请求格式
  if (!Array.isArray(data)) {
    rows.push(formatRow(data, timestamp));
  } else {
    for (const item of data) {
      rows.push(formatRow(item, timestamp));
    }
  }

  try {
    await send_to_bq(rows);
    console.log(`成功插入 ${rows.length} 条数据`);
    res.status(200).send(message);
  } catch (err) {
    console.error('数据插入失败:', err);
    res.status(500).send('事件处理失败');
  }
};

// 单独抽出行格式化逻辑，提升可读性
function formatRow(item, timestamp) {
  return {
    'hit_timestamp': timestamp,
    'email': item.email,
    'event': item.event,
    'category': Array.isArray(item.category) ? item.category.join(',') : (item.category || ''),
    'event_id': item.sg_event_id,
    'event_payload': JSON.stringify(item),
  };
}

// 改造为async函数，统一错误处理
async function send_to_bq(rows) {
  try {
    const [response] = await bigQuery
      .dataset(dataset)
      .table(tableName)
      .insert(rows);
    return response;
  } catch (err) {
    // 遍历所有插入错误，精准定位问题数据
    if (err?.response?.insertErrors) {
      err.response.insertErrors.forEach((error, index) => {
        console.error(`第 ${index} 条数据插入失败:`, error.error);
      });
    }
    throw err;
  }
}

2. 数据格式与BigQuery Schema不匹配 #

• hit_timestamp字段：如果BigQuery表中该字段是TIMESTAMP类型，不要用时间戳字符串，改用ISO格式：

  'hit_timestamp': new Date().toISOString(),
  

• category字段：SendGrid的category可能是数组，直接拼接会得到[object Array]，需处理为逗号分隔字符串（对应表中STRING类型）或直接传入数组（对应表中ARRAY<STRING>类型）。
• event_payload字段：若表中该字段是JSON类型，无需JSON.stringify()，直接传入原始对象即可。

3. 权限配置检查 #

确保Cloud Function使用的默认服务账号（{PROJECT_ID}@appspot.gserviceaccount.com）拥有BigQuery Data Editor角色：

• 进入GCP控制台 → IAM与管理员 → IAM
• 找到对应服务账号，添加BigQuery > BigQuery Data Editor角色

4. SendGrid Webhook验证 #

• 确认SendGrid后台配置的Webhook URL完全匹配Cloud Function的触发URL
• 使用SendGrid的Webhook测试工具发送测试事件，查看Cloud Function日志是否收到请求
• 检查Cloud Function日志（GCP控制台 → Cloud Functions → 对应函数 → 日志），排查是否有请求解析或权限错误

内容的提问来源于stack exchange，提问作者Ben Wakelin