加载Parquet到BigQuery遇FLOAT字段空值引发类型不匹配错误

问题根源 #

BigQuery的自动类型检测逻辑存在一个问题：当Parquet文件中的FLOAT字段仅包含空值，或空值搭配整数类型的数值时，会错误地将字段类型识别为INTEGER，和预先定义的FLOAT架构冲突，从而抛出类型不匹配的错误。

解决方案 #

1. 修正bq命令行加载参数

你之前的命令同时使用了--autodetect和--schema，这两个参数会冲突——BigQuery会优先采用自动检测的结果，而非你指定的架构。需要移除--autodetect，强制使用自定义schema：

bq load --source_format=PARQUET \
  --schema "voltage:FLOAT" \
  project:dataset.table \
  example.parquet

2. 配置Cloud Data Transfer Service强制使用自定义架构

在数据传输服务的配置步骤中：

• 找到「Schema options」选项，选择「Use custom schema」，关闭自动检测
• 手动输入或上传包含voltage:FLOAT的架构定义，确保传输过程严格遵循你指定的字段类型，忽略空值或整数数据带来的类型误判

3. 验证Parquet源文件的元数据

先确认源Parquet文件的字段元数据确实是FLOAT类型，可以用parquet-tools工具检查：

parquet-tools schema example.parquet

如果源文件元数据里字段类型本身不是FLOAT，需要先修正Parquet文件的生成逻辑；如果元数据正确，按上述方法强制指定架构即可解决问题。

内容的提问来源于stack exchange，提问作者berk cinar