如何将含Decimal字段的Parquet文件导入BigQuery（解决报错）

我之前处理过类似的问题，BigQuery对Parquet中以FIXED_LEN_BYTE_ARRAY存储的DECIMAL类型确实没有原生支持，给你几个实用的解决方案：

方案一：预处理Parquet文件转换字段格式 #

通过Spark、Pandas等工具读取原Parquet文件，将DECIMAL字段转换为BigQuery支持的类型（比如STRING或符合精度要求的NUMERIC），再重新写入Parquet后导入。

用Spark处理（Scala示例） #

import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.functions.col

// 读取原Parquet文件
val df = spark.read.parquet("gs://data.0.parq")
// 将目标DECIMAL字段转换为STRING类型（保留完整精度）
val transformedDf = df.withColumn("field_name", col("field_name").cast(StringType))
// 写入转换后的Parquet文件
transformedDf.write.parquet("gs://transformed-data.0.parq")

用Pandas处理（Python示例） #

import pandas as pd

# 读取原Parquet文件
df = pd.read_parquet("gs://data.0.parq")
# 将DECIMAL字段转换为STRING类型
df['field_name'] = df['field_name'].astype(str)
# 写入转换后的Parquet文件
df.to_parquet("gs://transformed-data.0.parq")

转换完成后，再用你原来的bq load命令导入转换后的文件即可。

方案二：创建外部表+自定义Schema映射 #

通过创建BigQuery外部表，手动指定字段类型绕过自动检测的限制，再将外部表数据导入常规表。

1. 生成初始Schema文件：

bq mkdef --source_format=PARQUET "gs://data.0.parq" > schema.json

2. 编辑schema.json，将field_name的类型修改为STRING或NUMERIC（注意：NUMERIC要求原DECIMAL精度≤38位、小数位≤9位，超出的话建议用STRING）：

[
  {
    "name": "field_name",
    "type": "STRING",
    "mode": "NULLABLE"
  },
  // 保留其他字段的原有配置
]

3. 创建外部表：

bq mk --external_table_definition=schema.json dataset.external_table

4. 将外部表数据导入分区表：

INSERT INTO dataset.table$20171001
SELECT * FROM dataset.external_table

方案三：用Dataflow做ETL转换（适合大规模数据） #

如果数据量较大且需要自动化处理，可编写Dataflow管道读取Parquet、转换字段后直接写入BigQuery：

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions

def transform_decimal(element):
    # 将DECIMAL字段转换为STRING（或符合精度的数值类型）
    element['field_name'] = str(element['field_name'])
    return element

def run():
    options = PipelineOptions()
    with beam.Pipeline(options=options) as p:
        (p
         | '读取Parquet文件' >> beam.io.ReadFromParquet("gs://data.0.parq")
         | '转换DECIMAL字段' >> beam.Map(transform_decimal)
         | '写入BigQuery' >> beam.io.WriteToBigQuery(
             "dataset.table$20171001",
             write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE,
             create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED
         ))

if __name__ == '__main__':
    run()

注意事项 #

• 如果原DECIMAL的精度超出BigQuery NUMERIC（38位整数+9位小数）或BIGNUMERIC（76位整数+38位小数）的范围，优先转成STRING类型，避免精度丢失。
• 若精度符合要求，转成NUMERIC/BIGNUMERIC类型更方便后续的查询和计算。

内容的提问来源于stack exchange，提问作者zicai