迁移作业时传递Schema构造DataFrame遇类型错误求助

报错核心原因 #

传入DataFrame的Schema并非StructType实例，而是字符串类型。大概率是两个原因导致：

• 误用了非Spark官方的数据类型（比如示例里的varchar()、numeric()不属于Spark标准DataType类）
• 构建字典时误将StructType对象转换成了字符串（比如调用str()、序列化后未正确反序列化）

具体修复步骤 #

1. 导入正确的Spark数据类型 #

Spark Schema必须使用pyspark.sql.types下的官方类型，替换示例中的错误类型：

• varchar() → StringType()
• numeric() → DecimalType(precision=xx, scale=xx)（需指定精度和小数位）
• timestamp() → TimestampType()

2. 构建合规的Schema字典 #

确保字典值是StructType实例，而非字符串。示例代码：

from pyspark.sql.types import StructType, StructField, StringType, DecimalType, TimestampType

# 正确构建表Schema字典
table_schema_dict = {
    'table1': StructType([
        StructField("column1", StringType(), True),
        StructField("column2", DecimalType(10, 2), True),
        StructField("column3", DecimalType(10, 2), True),
        StructField("column4", TimestampType(), True),
        StructField("column5", TimestampType(), True),
        StructField("column6", TimestampType(), True)
    ])
}

3. 正确传递Schema到DataFrame #

构造DataFrame时，直接传入字典中的StructType实例，禁止做字符串转换：

# 假设data是你的数据源（如RDD、列表等）
df = spark.createDataFrame(data, schema=table_schema_dict['table1'])

4. 排查潜在的字符串转换问题 #

如果上述步骤仍报错，检查代码其他环节：

• 避免对StructType对象调用str()或repr()
• 若从文件读取Schema，确保反序列化后还原为StructType实例（不要保留字符串格式）

内容的提问来源于stack exchange，提问作者krishna Katragadda