使用BigQuery导出指定machineId的Firestore历史数据至Excel遇报错求文档

核心报错原因 #

Unrecognized name: data 是因为你的BigQuery查询直接引用了data字段，但该字段并非Firestore导出表的顶层字段。Firestore导出到BigQuery的默认结构中，文档数据通常嵌套在json_payload（或旧版的fields）字段下，而非直接暴露为顶层data。

修正步骤 #

1. 确认表结构

   • 先执行以下语句查看表的实际字段结构：

     SELECT * FROM `your-project.your-dataset.your-firestore-table` LIMIT 1
     

   • 找到存储Firestore文档内容的嵌套字段（常见为json_payload），确认machineId的实际路径。

2. 调整查询语句
   假设文档数据嵌套在json_payload下，查询特定machineId的语句示例：

   SELECT 
     json_payload.data.*, -- 导出该machineId的全部文档数据
     timestamp, -- 可选：导出Firestore操作时间戳
     event_id -- 可选：导出事件ID
   FROM `your-project.your-dataset.your-firestore-table`
   WHERE json_payload.data.machineId = 'TARGET_MACHINE_ID'
   

   如果是旧版Firestore导出的fields结构，machineId的路径会是fields.machineId.stringValue，需对应调整WHERE条件和字段引用。

3. 导出至Excel
   查询结果可通过BigQuery控制台的「导出」功能选择CSV格式，直接用Excel打开；若需原生Excel格式，可通过BigQuery API结合Python/Java脚本生成.xlsx文件。

官方技术文档指引 #

• Firestore-BigQuery数据映射：参考BigQuery官方文档中Firestore集成章节的「数据结构」部分，明确Firestore文档字段到BigQuery列的映射规则。
• BigQuery嵌套字段查询：复习BigQuery SQL的嵌套字段访问语法，确保正确使用点符号访问嵌套属性。
• Firestore导出配置：检查Firestore到BigQuery的导出任务配置，确认字段映射规则是否符合预期。

内容的提问来源于stack exchange，提问作者MOHAMMAD ZEESHAN