PySpark中为何无法使用变量进行数据类型转换？

问题场景 #

尝试通过变量动态指定PySpark DataFrame列的转换类型时，调用cast()方法报错，但直接传入类型对象（如StringType()）则能正常运行。

代码示例 #

报错的代码 #

input_dict = {"memo":"None","office":"SYD,StringType()","off_no":"987654,IntegerType()"}

valu = input_dict.get(i).split(",")
print(valu[0],"````",valu[1])
cast_to = valu[1]
print(cast_to)

df = df.withColumn(i, lit(val[0]).cast(cast_to))

报错信息 #

df = df.withColumn(i, lit(val[0]).cast(cast_to))
..\lib\site-packages\pyspark\sql\column.py:774: in cast
    jc = self._jc.cast(dataType)
..lib\site-packages\py4j\java_gateway.py:1321: in __call__
    return_value = get_return_value(

正常运行的代码 #

df = df.withColumn(i, lit(val[0]).cast(StringType())) 

打印结果 #

SYD ```` StringType()
StringType()

原因分析 #

核心问题在于：valu[1]从字符串分割后得到的是字符串类型的"StringType()"，而cast()方法需要的是PySpark的DataType类实例（比如StringType()是调用类构造器生成的对象）。字符串无法被PySpark识别为合法的数据类型，因此触发报错。

解决方法 #

方法1：使用类型映射字典（推荐，安全可控） #

提前创建字符串到对应类型对象的映射，避免字符串解析的安全风险：

from pyspark.sql.types import StringType, IntegerType

# 定义类型映射字典
type_map = {
    "StringType()": StringType(),
    "IntegerType()": IntegerType()
}

input_dict = {"memo":"None","office":"SYD,StringType()","off_no":"987654,IntegerType()"}

for i in input_dict.keys():
    if "," in input_dict[i]:
        valu = input_dict.get(i).split(",")
        cast_to = type_map[valu[1]]
        df = df.withColumn(i, lit(valu[0]).cast(cast_to))

方法2：使用eval（仅当输入完全可信时使用） #

通过eval()将字符串转换为对应的类型对象，但注意eval()存在安全风险，若输入包含恶意代码会导致问题：

from pyspark.sql.types import *

input_dict = {"memo":"None","office":"SYD,StringType()","off_no":"987654,IntegerType()"}

for i in input_dict.keys():
    if "," in input_dict[i]:
        valu = input_dict.get(i).split(",")
        cast_to = eval(valu[1])
        df = df.withColumn(i, lit(valu[0]).cast(cast_to))

内容的提问来源于stack exchange，提问作者RamK