BigQuery上传Parquet文件报错：无法将字符串类型publishTs转换为Timestamp

问题根因 #

BigQuery 加载 Parquet 文件时要求文件内字段类型与目标表字段类型严格匹配，你当前目标表publishTs为TIMESTAMP类型，但Spark生成的Parquet文件中同名字段为STRING类型，因此触发类型校验错误。

解决方案 #

方案1：单次临时导入方案（适合少量临时数据导入） #

不需要修改Spark输出逻辑，通过临时表中转完成类型转换：

• 新建临时表，结构与目标表完全一致，仅将publishTs字段类型调整为STRING，示例表名：your_project.your_dataset.tmp_parquet_import
• 通过GCP UI的BQ上传功能，将Parquet文件导入到上述临时表，此时字段类型完全匹配，不会触发报错
• 执行类型转换语句，将临时表数据写入正式目标表：

INSERT INTO `your_project.your_dataset.target_table`
SELECT 
  * EXCEPT(publishTs),
  TIMESTAMP(publishTs) AS publishTs
FROM `your_project.your_dataset.tmp_parquet_import`

• 验证正式表数据无误后，删除临时表即可。

方案2：长期生产适配方案（适合定期批量导入场景） #

从Spark输出侧调整字段类型，后续导入无需额外中转：

• Spark输出Parquet文件前，先将publishTs字段从STRING转换为Timestamp类型，示例Spark SQL代码：

SELECT 
  *,
  to_timestamp(publishTs, "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'") AS publishTs
FROM your_source_table

• 转换后生成的Parquet文件中publishTs为原生Timestamp类型，直接上传到目标BigQuery表即可正常导入。

特殊情况处理 #

如果你的publishTs字符串值末尾存在多余空格（和你给出的示例值一致），转换时可以先做去空格处理，将类型转换部分修改为TIMESTAMP(TRIM(publishTs))即可。

内容的提问来源于stack exchange，提问作者Neer1009