如何在Python函数内部更新PySpark DataFrame？

PySpark的DataFrame是不可变的分布式数据集，所有修改类操作（比如withColumn）都会生成一个全新的DataFrame对象，而非修改原对象本身。你当前函数里给局部变量df赋值新的DataFrame，只会在函数内部生效，对外部传入的原DataFrame完全没有影响。

和pandas不同，PySpark从设计上就没有类似inplace=True的参数——分布式数据集的不可变性是Spark保证计算一致性和容错性的核心特性之一，没办法绕过这一点。

正确实现方式（必须返回新DataFrame） #

虽然你想避免使用return，但这在PySpark里是无法实现的，最佳实践就是返回处理后的新DataFrame：

from pyspark.sql import functions as F
def verify_cols(df):
    if 'weight' not in df.columns:
        df = df.withColumn('weight', F.lit(1))
    return df

调用时需要接收返回的新对象：

original_df = verify_cols(original_df)

另类绕开return的方法（不推荐） #

如果非要避免显式return，可以用可变容器（比如字典）包装DataFrame，利用Python可变对象的特性在函数内修改外部容器的内容：

from pyspark.sql import functions as F
def verify_cols(df_wrapper):
    current_df = df_wrapper['df']
    if 'weight' not in current_df.columns:
        df_wrapper['df'] = current_df.withColumn('weight', F.lit(1))

# 使用示例
df_container = {'df': original_df}
verify_cols(df_container)
updated_df = df_container['df']

这种方式只是语法上绕开了return，本质还是生成了新的DataFrame，而且代码可读性不如直接return，不建议在生产代码中使用。

内容的提问来源于stack exchange，提问作者Arturo Sbr