PySpark向DataFrame列表添加元素后变为NoneType问题排查

问题根源 #

• Python的list.append()方法是原地修改原列表，它的返回值是None。你执行df_list = df_list.append(...)时，相当于把None赋值给了df_list，导致后续reduce操作传入的是None而非列表，直接触发错误。
• 额外问题：你给新的DataFrame套了额外的方括号[spark.createDataFrame(...)]，这会让列表变成嵌套结构（列表里包含列表），即使append操作没问题，后续union也会因为元素类型不匹配报错。

修正后的代码 #

方法1：直接原地append（推荐） #

df_list = [spark.createDataFrame([("3", "4")], db_tables_schema), spark.createDataFrame([("1", "2")], db_tables_schema), spark.createDataFrame([("7", "4")], db_tables_schema)]

# 直接调用append，不要赋值，且不要给新DataFrame加额外方括号
df_list.append(spark.createDataFrame([("7", "4")], db_tables_schema))

# 合并所有DataFrame
df_complete = reduce(DataFrame.union, df_list)

方法2：列表拼接（生成新列表） #

如果不想原地修改原列表，可以用+拼接生成新列表：

df_list = [spark.createDataFrame([("3", "4")], db_tables_schema), spark.createDataFrame([("1", "2")], db_tables_schema), spark.createDataFrame([("7", "4")], db_tables_schema)]

# 用+拼接单个元素的列表，返回新的列表
df_list = df_list + [spark.createDataFrame([("7", "4")], db_tables_schema)]

# 合并所有DataFrame
df_complete = reduce(DataFrame.union, df_list)

额外建议 #

如果你的DataFrame可能存在列顺序不一致的情况，建议使用unionByName()替代union()，避免数据错位：

from functools import reduce
from pyspark.sql import DataFrame

df_complete = reduce(lambda df1, df2: df1.unionByName(df2), df_list)

内容的提问来源于stack exchange，提问作者AnonymUser