PySpark数据管道：转换后应用Schema再写入Parquet可行吗？

可以这么做，但完全没必要——属于冗余操作，直接写入更高效。

原因说明： #

• 当你通过drop移除第二列Incident Number后，DataFrame的Schema已经自动更新为仅包含Call Number和Entry DtTm两列，且数据类型和你要应用的目标Schema完全一致。PySpark的DataFrame本身自带元数据，移除列操作会同步更新Schema，不需要手动再指定。
• 强行应用匹配的Schema不会报错，但多此一举，既增加代码复杂度，也不会带来任何收益。

推荐做法（简洁高效）： #

移除列后直接写入Parquet即可，Parquet会自动保留DataFrame的Schema信息：

# 读取CSV（已用初始Schema）
df = spark.read.schema(initial_schema).csv("path/to/csv")

# 转换：移除第二列
transformed_df = df.drop("Incident Number")

# 直接写入Parquet
transformed_df.write.parquet("path/to/output.parquet")

如果非要显式应用Schema（不推荐）： #

要是出于某种特殊需求必须手动指定Schema，只要确保列名、数据类型完全匹配，操作是安全的：

from pyspark.sql.types import StructType, StructField, IntegerType, DateType

# 定义目标Schema
target_schema = StructType([
    StructField("Call Number", IntegerType(), True),
    StructField("Entry DtTm", DateType(), True)
])

# 应用Schema（通过select匹配列名，确保结构一致）
re_schema_df = transformed_df.select(*target_schema.fieldNames())

# 写入Parquet
re_schema_df.write.parquet("path/to/output.parquet")

总结：这种操作是允许的，但完全没必要，直接写入转换后的DataFrame是最优选择。

内容的提问来源于stack exchange，提问作者user765160