从Google Cloud Storage加载Parquet到BigQuery的Schema冲突问题

针对你遇到的tags.list.item类型从STRING变INTEGER的Schema冲突问题，给你几个直接可行的解决方法：

1. 提前固定BigQuery表的Schema（最推荐） #

先手动创建目标表，明确指定tags.list.item为STRING类型，后续导入时强制使用这个Schema，忽略Parquet文件的自动推断结果：

• 用bq命令行工具：

  bq load --source_format=PARQUET --schema='tags:ARRAY<STRING>' your_project.your_dataset.your_table gs://your_storage_bucket/*.parquet
  

• 或者在BigQuery控制台创建表时，直接在Schema面板定义tags为数组类型，子类型选STRING，之后导入数据时选择"使用现有表的Schema"选项。

2. 预处理Parquet文件统一字段类型 #

用PyArrow重写所有Parquet文件，强制tags.list.item为STRING类型，哪怕字段是空值：

import pyarrow.parquet as pq
import pyarrow as pa

# 读取单个Parquet文件
table = pq.read_table("source_file.parquet")
# 获取原Schema，修改tags字段的子类型为STRING
original_schema = table.schema
tags_field_idx = original_schema.get_field_index("tags")
new_tags_field = pa.field("tags", pa.list_(pa.string()), nullable=True)
updated_schema = original_schema.set(tags_field_idx, new_tags_field)
# 转换表结构并写入新文件
fixed_table = table.cast(updated_schema)
pq.write_table(fixed_table, "fixed_file.parquet")

批量处理的话，遍历GCS上的文件下载处理后再上传即可。

3. 临时跳过冲突记录（不推荐生产环境使用） #

如果只是少量文件有问题，可以在导入时设置允许跳过错误记录，但这会丢失部分数据：

bq load --source_format=PARQUET --autodetect --max_bad_records=100 your_project.your_dataset.your_table gs://your_storage_bucket/*.parquet

问题根源补充 #

你推测的原因是对的：当某份Parquet文件中tags.list.item全为空时，Parquet解析器会默认将其推断为INTEGER类型（空值无明确类型标记时的默认行为），BigQuery在第一次导入后会把这个类型作为表的Schema，后续导入含STRING值的文件时就会触发类型冲突报错。

内容的提问来源于stack exchange，提问作者learningtocode