Spark写Parquet时非日期字段类型丢失的配置方法
核心问题根因
- 自定义Schema语法错误:JDBC的
customSchema参数遵循Spark SQL的类型语法规则,只识别SQL体系下的类型名(如string、float、decimal(18,3)、timestamp),不识别Python侧的类名(如FloatType、StringType)。之前写的radiation FloatType会被SQL parser解析为全小写的floattype,属于无效类型名,因此触发解析错误。 - 类型显示异常的本质不是Parquet类型丢失:Spark读取Oracle得到的
decimal(18,3)、string类型都会被正确写入Parquet的元数据,生成的Parquet文件本身schema是完整的。出现pandas读出来全是object的情况,根源是pandas的原生类型映射规则:pandas没有与Parquet高精度decimal类型完全匹配的原生dtype,默认会将这类值转为Python内置对象存储,因此显示为object类型;低版本pandas对Parquet里的string类型也默认映射为object,属于正常映射行为,不是Spark写文件时丢了类型。 - Parquet写入不需要单独指定schema:Spark的Parquet Writer会自动绑定当前DataFrame的schema写入文件元数据,不存在“没有配置项指定schema”的问题,只要DataFrame的字段类型是你需要的,写出来的Parquet就会保留对应类型。
可直接落地的解决方案
方案1:修正customSchema语法,在JDBC读取阶段完成类型映射
把原来的错误类型名替换为Spark SQL标准类型名即可,不需要写Python类名:
# 正确的customSchema写法,全量覆盖字段类型 custom_schema = """ idest string, date timestamp, temp float, hum float, prec float, wspeed float, wdir float, radiation float """ conn_properties = { "driver": "oracle.jdbc.driver.OracleDriver", "url": cfg.ORACLE_URL, "query": "select ... from ...", "customSchema": custom_schema } df = spark.read.format("jdbc").options(**conn_properties).load()
按这个写法配置后,读取得到的Spark DataFrame字段会直接映射为float类型,写入Parquet后pandas可以自动识别为float64,不会出现object类型。
注意:如果对数值精度要求较高,不适合转float的场景,就不要在这步转类型,保留原decimal精度即可。
方案2:保留原有decimal精度,pandas读Parquet时指定类型映射
如果不想损失decimal(18,3)的高精度,完全不需要修改Spark端的写入逻辑,Spark生成的Parquet文件本身是符合标准的。只需要在pandas读文件时,通过dtype参数主动指定字段转换规则即可:
import pandas as pd df_pandas = pd.read_parquet( "你的Parquet文件路径", dtype={ "idest": "string", "temp": "float64", "hum": "float64", "prec": "float64", "wspeed": "float64", "wdir": "float64", "radiation": "float64" } )
这种方式不会修改原始Parquet文件的高精度存储,只是在pandas读取环节完成类型转换,兼顾精度和pandas端的类型可读性。
方案3:读完JDBC后主动做类型转换,无需编写长段customSchema
如果觉得写长字符串的customSchema麻烦,可以在JDBC读取拿到DataFrame之后,直接通过cast方法调整字段类型,效果和customSchema完全一致,调整完成后直接写Parquet即可:
from pyspark.sql.functions import col # 字段类型转换 df_adjusted = df.select( col("idest").cast("string"), col("date").cast("timestamp"), col("temp").cast("float"), col("hum").cast("float"), col("prec").cast("float"), col("wspeed").cast("float"), col("wdir").cast("float"), col("radiation").cast("float") ) # 直接写入Parquet,Writer会自动绑定df的schema写入元数据 df_adjusted.write.mode("overwrite").parquet("你的Parquet输出路径")
内容的提问来源于stack exchange,提问作者kothvandir
相关产品推荐
相关产品推荐

