PySpark创建单列DataFrame报错原因及解决方法（Databricks环境）

报错原因 #

你写的单列DataFrame代码里，data = [("prod1"),("prod7")]存在语法陷阱：Python中单个元素的括号会被直接忽略，这个列表实际等价于["prod1", "prod7"]——是字符串的列表，而非元组的列表。

而你指定的StructType是一个包含单个字段的结构体，Spark创建DataFrame时，期望每行数据是一个元组（对应结构体的字段集合），但现在传入的是单个字符串，和结构体类型不匹配，因此抛出TypeError: StructType can not accept object 'prod1' in type。

正确创建方式 #

方式1：修正元组写法（推荐） #

给单个元素的元组末尾加逗号，确保Python解析为元组类型：

from pyspark.sql.types import StructField, StructType, StringType

data = [("prod1",), ("prod7",)]  # 每个元组末尾的逗号是关键
schema = StructType([
     StructField('prod', StringType())
 ])
df = spark.createDataFrame(data=data, schema=schema)
df.show()

方式2：简化schema定义 #

如果不需要显式用StructType，可以直接指定字段类型后重命名列：

from pyspark.sql.types import StringType

data = ["prod1", "prod7"]
df = spark.createDataFrame(data, StringType()).toDF("prod")
df.show()

方式3：使用Row对象 #

通过Row对象明确指定字段名，无需手动定义schema：

from pyspark.sql import Row

data = [Row(prod="prod1"), Row(prod="prod7")]
df = spark.createDataFrame(data)
df.show()

内容的提问来源于stack exchange，提问作者thotwielder