求PySpark中对应Scala StructType map函数的类型转换等价实现

要实现和你Scala代码相同的类型转换逻辑，PySpark中可以通过列表推导式替代Scala的map操作，生成对应的CAST表达式后传入selectExpr，具体实现如下：

完整代码 #

# 先生成所有字段的CAST转换表达式
cast_expressions = [
    f"CAST({field.name} AS {field.dataType.simpleString()}) AS {field.name}"
    for field in to_Schema
]

# 执行类型转换
df2 = dataframe_1.selectExpr(*cast_expressions)

关键细节说明 #

1. 遍历StructType字段：PySpark的StructType是可迭代对象，直接用for field in to_Schema就能遍历所有StructField，不需要专门的map方法。
2. SQL类型字符串获取：field.dataType.simpleString()方法和Scala中col.dataType.sql()的作用一致，会返回对应的SQL类型名称（比如IntegerType返回int，StringType返回string）。
3. 表达式解包：用*cast_expressions将列表中的表达式解包，传入selectExpr，等价于Scala中的: _*语法。

特殊字段名处理（可选） #

如果你的字段名包含空格、特殊字符或SQL关键字，建议用反引号包裹字段名避免语法错误：

cast_expressions = [
    f"CAST(`{field.name}` AS {field.dataType.simpleString()}) AS `{field.name}`"
    for field in to_Schema
]

内容的提问来源于stack exchange，提问作者Lokesh