将行列表转换为PySpark DataFrame报错：'list'对象无toDF属性

嗨，这个坑我刚入门PySpark的时候也踩过！你遇到的AttributeError: 'list' object has no attribute 'toDF'其实原因很简单：toDF()是Spark Session或者RDD专属的方法，而你手里的data只是普通的Python列表，它根本不知道什么是toDF()~

下面给你两种最常用的解决方法：

方法一：直接用SparkSession的createDataFrame() #

这是最直接的方式，只要你已经初始化了SparkSession，直接把Row列表传进去就行：

from pyspark.sql import SparkSession, Row

# 先确保初始化SparkSession（这步很重要！）
spark = SparkSession.builder.appName("convert_list_to_df").getOrCreate()

# 你的原始数据
data = [Row(id=u'1', probability=0.0, thresh=10, prob_opt=0.45), 
        Row(id=u'2', probability=0.4444444444444444, thresh=60, prob_opt=0.45), 
        Row(id=u'3', probability=0.0, thresh=10, prob_opt=0.45), 
        Row(id=u'80000000808', probability=0.0, thresh=100, prob_opt=0.45)]

# 直接转成DataFrame
df = spark.createDataFrame(data)

# 验证结果
df.show()

方法二：先转成RDD再调用toDF() #

如果你习惯用RDD的方式操作，也可以先把列表并行化成RDD，再调用toDF()：

# 基于上面已经初始化的spark和data
rdd = spark.sparkContext.parallelize(data)
df = rdd.toDF()

df.show()

额外补充：显式指定Schema（可选） #

虽然Row对象已经自带字段名和类型信息，但如果需要更精准地控制Schema（比如指定字段是否可为空、调整类型），可以自定义Schema后传入：

from pyspark.sql.types import StructType, StructField, StringType, DoubleType, IntegerType

# 定义自定义Schema
custom_schema = StructType([
    StructField("id", StringType(), nullable=True),
    StructField("probability", DoubleType(), nullable=True),
    StructField("thresh", IntegerType(), nullable=True),
    StructField("prob_opt", DoubleType(), nullable=True)
])

# 传入Schema创建DataFrame
df = spark.createDataFrame(data, schema=custom_schema)

这样操作后，你就能顺利得到想要的PySpark DataFrame啦！

内容的提问来源于stack exchange，提问作者mblume