如何解决BigQuery加载Parquet文件时日期列被识别为字符串的报错

遇到Parquet文件中yyyy-mm-dd格式的日期列被识别为STRING，导致与BigQuery表DATE类型字段不匹配的报错，可尝试以下几种解决办法：

• 加载时显式指定字段类型
  不管用bq命令行工具还是BigQuery UI，直接强制指定_P1列为DATE类型，覆盖自动推断的结果：

  • 命令行示例：

    bq load --source_format=PARQUET my_prj.my_dataset.my_table gs://your-bucket/your-parquet-file.parquet _P1:DATE
    

    若有多个字段，用逗号分隔指定完整schema：col1:STRING,_P1:DATE,col2:INTEGER
  • UI操作：在加载流程的「架构」步骤，手动将_P1的类型从STRING修改为DATE，再完成加载。

• 预处理Parquet文件修正字段类型
  用PySpark或Pandas将原Parquet文件中的字符串日期列转成标准DATE类型，再重新加载：
  PySpark示例代码：

  from pyspark.sql import SparkSession
  from pyspark.sql.functions import to_date
  
  spark = SparkSession.builder.getOrCreate()
  # 读取原Parquet文件
  df = spark.read.parquet("/path/to/original/file.parquet")
  # 将字符串日期转为DATE类型
  df_fixed = df.withColumn("_P1", to_date("_P1", "yyyy-MM-dd"))
  # 保存修正后的Parquet文件
  df_fixed.write.parquet("/path/to/fixed/file.parquet", mode="overwrite")
  

• 利用BigQuery的类型转换逻辑（适合临时加载场景）
  先将文件加载到一个临时表（允许STRING类型），再通过SQL转换字段类型后写入目标表：

  INSERT INTO my_prj.my_dataset.my_table
  SELECT
    -- 其他字段保持不变
    col1,
    CAST(_P1 AS DATE) AS _P1,
    col2
  FROM my_prj.my_dataset.temp_table
  

内容的提问来源于stack exchange，提问作者nightshiftman