使用fs.createWriteStream向BigQuery写JSON数据报No schema specified错误

这个报错的核心是BigQuery写入任务找不到对应表的结构定义，要么你没有提前创建带schema的目标表，要么你在写入配置里没有显式指定schema或者开启自动推断。
你之前的写法存在两处错误：

1. table.createWriteStream("json") 传参格式错误，该方法第一个参数需传入配置对象，而非格式字符串
2. 尝试给fs.createWriteStream传BigQuery相关配置是完全错误的，所有写入配置需要传给BigQuery实例的createWriteStream方法

场景1：已提前在BigQuery控制台创建好带schema的flattened_data表 #

直接修改createWriteStream的传参即可，参考代码：

const { BigQuery } = require("@google-cloud/bigquery");
const bigquery = new BigQuery();
const dataset = bigquery.dataset("firebase_test_data");
const table = dataset.table("flattened_data");
const fs = require("fs");

fs.createReadStream("./data.json")
  .pipe(table.createWriteStream({
    sourceFormat: "JSON",
    // 可选配置：WRITE_APPEND为追加写入，WRITE_TRUNCATE为覆写整张表
    writeDisposition: "WRITE_APPEND"
  }))
  .on("job", (job) => {
    console.log("任务已创建，ID：", job.id);
  })
  .on("complete", (job) => {
    console.log("写入完成");
  })
  .on("error", (err) => {
    console.error("写入出错：", err);
  });

场景2：未提前创建目标表，需要写入时自动建表 #

有两种可选配置方式：

方式A：显式指定schema（生产环境推荐，稳定性更高） #

根据你的JSON数据结构填写对应的表结构即可，示例代码：

fs.createReadStream("./data.json")
  .pipe(table.createWriteStream({
    sourceFormat: "JSON",
    writeDisposition: "WRITE_APPEND",
    // 开启自动建表
    createDisposition: "CREATE_IF_NEEDED",
    // 自定义表结构，需和你的JSON字段对应
    schema: {
      fields: [
        {name: "user_id", type: "STRING", mode: "REQUIRED"},
        {name: "event_name", type: "STRING", mode: "NULLABLE"},
        {name: "event_timestamp", type: "INT64", mode: "NULLABLE"}
      ]
    }
  }))
  // 剩余事件监听和上文一致

方式B：开启schema自动推断（测试场景推荐，无需手动写结构） #

fs.createReadStream("./data.json")
  .pipe(table.createWriteStream({
    sourceFormat: "JSON",
    writeDisposition: "WRITE_APPEND",
    createDisposition: "CREATE_IF_NEEDED",
    // 开启自动识别schema
    autodetect: true
  }))
  // 剩余事件监听和上文一致

额外注意事项 #

• 本地的data.json必须为换行分隔的JSON格式，即每一行是一个独立的JSON对象，不能是包裹在数组里的批量JSON，否则会解析失败
• 需确保当前运行环境的谷歌云身份凭证有对应BigQuery数据集的写入、建表权限

内容的提问来源于stack exchange，提问作者CaitlynCodr