使用fs.createWriteStream向BigQuery写入数据时出现Schema错误(Node.js)

这个错误的核心原因是：BigQuery必须明确知晓目标表的数据结构（schema）——不管是目标表已提前定义好schema，还是写入时通过参数指定，否则无法解析你导入的JSON数据。

两种可行解决方案： #

1. 提前在BigQuery控制台创建表并定义schema

登录BigQuery控制台，找到firebase_test_data数据集，手动创建flattened_data表，根据你的data.json字段定义好对应的schema（字段名、数据类型等）。之后直接运行你原有的代码即可，BigQuery会自动匹配已有的表schema。

2. 在代码中直接指定schema

如果不想手动创建表，可以在createWriteStream的配置参数里添加schema定义，让BigQuery自动创建表并匹配数据结构。修改后的代码示例如下：

const { BigQuery } = require("@google-cloud/bigquery");
const bigquery = new BigQuery();
const dataset = bigquery.dataset("firebase_test_data");
const table = dataset.table("flattened_data");
const fs = require("fs");

// 请根据你的data.json实际字段修改这个schema定义
const tableSchema = [
  { name: "user_id", type: "STRING" },
  { name: "event_time", type: "TIMESTAMP" },
  { name: "event_name", type: "STRING" },
  // 继续添加其他字段...
];

fs.createReadStream("./data.json")
  .pipe(table.createWriteStream({
    sourceFormat: "JSON",
    schema: tableSchema
  }))
  .on("job", (job) => {
    console.log(job);
  })
  .on("complete", () => {
    console.log("数据写入完成");
  })
  .on("error", (err) => {
    console.error("写入失败:", err);
  });

注意事项： #

• 如果目标表已存在，确保代码中指定的schema和表的现有schema完全匹配，避免字段类型不兼容的问题。
• JSON数据的字段名需要和schema里的name值严格对应，大小写敏感。

内容的提问来源于stack exchange，提问作者Sakshi Gatyan