PySpark写入Parquet后数据类型丢失问题求助

我在PySpark 2.x版本里也碰到过一模一样的情况，核心问题出在Schema的显式维护上——Parquet本身是自带Schema元信息的，但如果我们在数据处理流程中没把Schema正确传递下去，就会导致读取时类型又回退到默认的string。下面给你两种实用的解决办法：

方法一：读取CSV时直接指定Schema（推荐，更高效） #

你的文件是10GB的大文件，先读成全string再转换不仅浪费计算资源，还容易踩Schema维护的坑。最好在读取阶段就定义好正确的Schema：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 按照你的CSV列结构定义Schema，替换成实际的列名和类型
custom_schema = StructType([
    StructField("column_a", IntegerType(), nullable=True),
    StructField("column_b", StringType(), nullable=True),
    # 继续添加其他所有列的定义...
])

# 用指定的Schema读取CSV，记得加上header=True（如果你的CSV包含表头的话）
ddf = spark.read.csv('directory/my_file.csv', schema=custom_schema, header=True)

# 直接写入Parquet，无需额外类型转换
ddf.repartition(10).write.parquet('directory/my_parquet_file', mode='overwrite')

这样写入的Parquet文件会完整保留Schema信息，后续读取时Spark会自动识别，column_a会保持integer类型。

方法二：先读全string再转换，确保Schema正确更新 #

如果你已经完成了初始读取，想要在转换后正确保存类型，一定要确保转换后的结果覆盖原DataFrame，并且验证Schema更新成功：

from pyspark.sql.types import IntegerType

# 读取CSV（默认所有列都是string类型）
ddf = spark.read.csv('directory/my_file.csv', header=True)

# 显式转换column_a的类型，并且赋值给原DataFrame
ddf = ddf.withColumn("column_a", ddf["column_a"].cast(IntegerType()))

# 先检查Schema是否正确更新，确认column_a是integer类型
ddf.printSchema()

# 再写入Parquet
ddf.repartition(10).write.parquet('directory/my_parquet_file', mode='overwrite')

为什么之前的操作会失效？ #

在PySpark 2.0.x版本中，如果你只执行ddf.withColumn(...)但没有把结果赋值给原DataFrame，原DataFrame的Schema根本没变化，写入Parquet时自然还是原来的全string类型。另外，如果读取CSV时没加header=True，会把表头当成数据行，导致列名混乱，后续的类型转换也会白做。

读取Parquet的注意事项 #

读取Parquet文件时不需要再指定Schema，Spark会自动加载文件自带的元信息：

parquet_ddf = spark.read.parquet('directory/my_parquet_file')
parquet_ddf.printSchema()  # 这里能看到column_a是integer类型

内容的提问来源于stack exchange，提问作者ptphdev