PySpark创建DataFrame失败求助：测试程序报错问题排查

问题分析 #

你的代码存在几个潜在问题，同时重复执行时的Spark上下文冲突也可能引发报错：

• 列表末尾的多余逗号（虽Python语法允许，但易引发误解或特殊环境下的解析异常）
• 交互式环境重复执行时，未关闭已有SparkSession会导致上下文冲突
• 大概率遗漏了SparkSession的导入语句

修正后的代码 #

# 必须导入SparkSession模块
from pyspark.sql import SparkSession

if __name__ == "__main__":    
    # 重复执行前先关闭已有SparkSession，避免上下文冲突
    try:
        spark.stop()
    except:
        pass
    
    spark = SparkSession.builder \    
        .appName("Welcome Spark") \    
        .master("local[2]") \    
        .getOrCreate()    

    # 移除列表末尾多余逗号，保持代码整洁
    data_list = [("Aishwarya", 21), ("Jhanavi", 19), ("Maithree", 23)]

    # 推荐方式：直接在createDataFrame中指定列名，更直观高效
    df = spark.createDataFrame(data_list, schema=["Name", "Age"])    
    df.show()

关键注意事项 #

• 每次执行代码前务必导入SparkSession，这是新手最容易忽略的点
• 在Jupyter等交互式环境重复执行时，必须先关闭已有会话再重新创建
• 避免在列表、元组末尾添加无意义的尾逗号，减少不必要的问题排查成本

内容的提问来源于stack exchange，提问作者Balaji