Big Query报错：无法将重复STRUCT字段读取为可选STRUCT字段

问题根因 #

报错Cannot read repeated field of type STRUCT as optional STRUCT Field: location的核心原因是部分分区的location字段仍为ARRAY类型，和当前要写入的OBJECT（RECORD）类型冲突——哪怕回补了分区，只要旧分区的字段类型没修正，类型不匹配的报错就会持续存在。

具体修复步骤 #

1. 排查问题分区 #

先执行以下SQL，明确哪些分区的location字段还是ARRAY类型：

SELECT
  partition_id,
  schema_field.name,
  schema_field.type,
  schema_field.mode
FROM
  `你的项目ID.你的数据集名.INFORMATION_SCHEMA.COLUMNS`
WHERE
  table_name = '你的表名'
  AND schema_field.name = 'location'
ORDER BY partition_id

替换占位符为实际项目、数据集和表名，执行后可通过mode列判断类型：REPEATED对应ARRAY，NULLABLE对应OBJECT。

2. 修正类型错误的分区 #

分两种场景处理：

场景一：分区数据可重新生成（优先选择）

直接删除问题分区，再重新同步数据：

• 删除目标分区：

ALTER TABLE `你的项目ID.你的数据集名.你的表名`
DROP PARTITION DATE('yyyy-mm-dd')

替换日期为问题分区的日期，随后触发Cloud Function重新同步该分区数据，新写入的OBJECT类型location会自动修正分区的字段类型。

场景二：数据无法重新生成，需转换现有数据

如果分区数据不能重新抽取，就把ARRAY类型的location转换为OBJECT：

1. 创建临时表，转换字段类型（假设ARRAY仅含一个元素，取第一个值；若有多个元素，需按业务逻辑调整）：

CREATE OR REPLACE TABLE `你的项目ID.你的数据集名.temp_partition`
AS
SELECT
  *,
  location[OFFSET(0)] AS new_location
FROM
  `你的项目ID.你的数据集名.你的表名`
WHERE
  _PARTITIONDATE = DATE('yyyy-mm-dd')

2. 删除原分区的旧数据：

DELETE FROM `你的项目ID.你的数据集名.你的表名`
WHERE _PARTITIONDATE = DATE('yyyy-mm-dd')

3. 将转换后的数据写回原分区：

INSERT INTO `你的项目ID.你的数据集名.你的表名`
SELECT
  *,
  new_location AS location
EXCEPT new_location
FROM `你的项目ID.你的数据集名.temp_partition`

4. 清理临时表：

DROP TABLE `你的项目ID.你的数据集名.temp_partition`

3. 后续预防措施 #

• 在Cloud Function的抽取逻辑中添加字段类型校验：读取MongoDB数据时，先检查location是否为OBJECT类型，不符合则终止写入，避免类型突变。
• 给BigQuery表设置字段约束：若确定location始终为OBJECT类型，将其设为NULLABLE模式的STRUCT类型，防止字段类型被意外修改。

内容的提问来源于stack exchange，提问作者OctavianWR