从GCP BigQuery导出Parquet时，如何保留NUMERIC类型的精度与小数位数？

我在BigQuery的tableA表中有一个类型为NUMERIC(29)的columnA列，用Airflow的BigQueryToGCSOperator导出为Parquet格式：

transferBigQueryToBucket = BigQueryToGCSOperator(
    task_id='BigQueryToBucket'
        ,source_project_dataset_table= xyz
        ,compression="GZIP"
        ,destination_cloud_storage_uris=xyz
        ,location=xyz
        ,export_format="Parquet"
        ,force_rerun=True)

用PySpark读取后，表结构被识别为：

StructType([StructField('columnA', DecimalType(38,9), True])

我排除了Airflow的影响，直接用BigQuery的EXPORT DATA语句导出：

EXPORT DATA OPTIONS(
  format='PARQUET',
  uri='gs://address',
  overwrite=true
)
AS
SELECT columnA
FROM tableA

用PyArrow读取Parquet文件的元数据，结果还是：

optional fixed_len_byte_array(16) field_id=-1 columnA (Decimal(precision=38, scale=9));

这导致Spark DataFrame里的数值带多余的9位小数零（比如213123123132.000000000），导出CSV时这些零会被保留。

我试过两种方案但都不满意：

• 手动指定Spark Schema：但表结构多的话工作量太大，Parquet本该自带正确元数据，不想这么做
• 用Spark函数/UDF去除多余零：需要通用逻辑，还要考虑判断条件和性能问题，没解决元数据错误的核心问题

求能直接修正Parquet元数据问题的方案，谢谢。

解决方案：从BigQuery导出时显式转换数值类型，匹配Parquet的Decimal存储规则 #

BigQuery导出Parquet时，会把NUMERIC类型默认映射到Parquet的DECIMAL(38,9)——这是因为BigQuery的NUMERIC最大支持38位精度，导出逻辑会统一用最大精度/scale存储，不管你定义的是29位。要从根源解决，得在导出时显式转换数值，让Parquet元数据带上正确的精度和scale。

方法1：导出时用SQL显式指定精度/scale #

修改导出逻辑，通过SQL强制转换columnA的类型，让BigQuery写入正确的Parquet元数据：

直接用BigQuery EXPORT DATA语句：

EXPORT DATA OPTIONS(
  format='PARQUET',
  uri='gs://address',
  overwrite=true
)
AS
SELECT CAST(columnA AS NUMERIC(29,0)) AS columnA
FROM tableA

如果你的columnA原本包含小数位，把0改成对应的scale值即可（比如NUMERIC(29,2)对应两位小数）。

Airflow BigQueryToGCSOperator写法：

把source_project_dataset_table替换为sql_query参数，用查询实现类型转换：

transferBigQueryToBucket = BigQueryToGCSOperator(
    task_id='BigQueryToBucket'
        ,sql_query="SELECT CAST(columnA AS NUMERIC(29,0)) AS columnA FROM `your-project.your-dataset.tableA`"
        ,compression="GZIP"
        ,destination_cloud_storage_uris=xyz
        ,location=xyz
        ,export_format="Parquet"
        ,force_rerun=True)

这样导出的Parquet文件元数据中，columnA的类型会是你指定的DECIMAL(29,0)（或对应scale），Spark读取时会自动识别正确类型，不会出现多余的小数零。

方法2：修改Spark读取配置（快速兼容，非根治） #

如果不想改动导出逻辑，可通过Spark配置强制兼容读取：

# 关闭向量化读取，强制用旧解析逻辑识别Decimal元数据
spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false")
# 允许精度损失，让Spark自动匹配实际数据的精度
spark.conf.set("spark.sql.decimalOperations.allowPrecisionLoss", "true")

df = spark.read.parquet("gs://your-path/*.parquet")

注意这个方法只是让Spark兼容读取，没有修正Parquet元数据本身，更推荐方法1从根源解决。

原理说明 #

BigQuery的NUMERIC内部用16字节整数存储，对应Parquet的fixed_len_byte_array(16)，但导出时默认会把元数据标记为DECIMAL(38,9)——这是BigQuery的默认映射规则。通过显式转换类型，我们可以让BigQuery在导出时写入正确的精度和scale元数据，确保Spark、PyArrow等工具能正确识别。

内容的提问来源于stack exchange，提问作者PipelineSurfer