如何使用PySpark批量修改100列的数据类型？

Hey there! 看到你之前手动修改3列数据类型的代码，要扩展到100列的话，手动写肯定不现实，下面给你两种高效的批量处理方案：

方法1：循环遍历列列表（直观易读） #

这种方式逻辑简单，适合快速上手，你只需要把所有要修改类型的列名放进一个列表，然后循环遍历逐个转换：

from pyspark.sql.types import IntegerType

# 把需要转换的100列都放进这个列表里
cols_to_cast = [
    "Offre durable", 
    "Offre non durable", 
    "Total",
    # 这里继续添加其他需要转换的列名...
]

# 初始化结果DataFrame为原数据
dfcontract2 = dfcontract

# 循环遍历每个列，批量转换类型
for col_name in cols_to_cast:
    # 可选：先检查列是否存在，避免因列名错误报错
    if col_name in dfcontract.columns:
        dfcontract2 = dfcontract2.withColumn(col_name, dfcontract2[col_name].cast(IntegerType()))

# 验证转换后的 schema
dfcontract2.printSchema()

方法2：使用reduce函数（简洁高效） #

如果想让代码更紧凑，可以用functools.reduce把所有转换操作串联起来，省去显式的循环结构：

from pyspark.sql.types import IntegerType
from functools import reduce

cols_to_cast = [
    "Offre durable", 
    "Offre non durable", 
    "Total",
    # 其他需要转换的列...
]

# 用reduce依次应用每个列的cast操作
dfcontract2 = reduce(
    lambda df, col_name: df.withColumn(col_name, df[col_name].cast(IntegerType())) 
    if col_name in df.columns else df,
    cols_to_cast,
    dfcontract
)

dfcontract2.printSchema()

额外实用提示 #

• 如果部分列存在转换失败风险（比如非数字字符串转Integer），可以用try_cast替代cast，转换失败时会返回null而非抛出错误：df[col_name].try_cast(IntegerType())
• 如果需要转换多种数据类型（比如部分列转Integer，部分转String），可以把列和对应类型做成字典：col_type_map = {"col1": IntegerType(), "col2": StringType()}，然后循环遍历字典的键值对进行转换。

内容的提问来源于stack exchange，提问作者BENOTH7