PySpark中能否将DataFrame作为函数参数传入以复用校验逻辑？

原函数问题 #

原函数硬编码了特定的DataFrame emp_df，且没有返回处理后的结果，只能单一作用于这一个DataFrame，无法复用。

修改方案：将DataFrame作为参数传入 #

完全可以通过把DataFrame作为参数传入函数的方式，实现通用校验逻辑，避免重复代码。修改后的函数如下：

def is_Data_Valid(df):
    # 返回处理后的DataFrame，新增ValidationErrors列
    return df.withColumn(
        "ValidationErrors",
        f.when(
            f.col("Name").rlike("^[a-zA-Z]+$") 
            & f.col("Age").cast("int").isNotNull() 
            & f.col("Experience").cast("int").isNotNull() 
            & f.col("Year").cast("int").isNotNull() 
            & f.col("Dept").rlike("^[a-zA-Z]+$"),
            f.lit("0")
        ).otherwise(f.lit("Invalid data"))
    )

调用方式 #

分别传入两个需要校验的DataFrame即可：

# 校验emp_df
validated_emp_df = is_Data_Valid(emp_df)

# 校验emp1_f_df
validated_emp1_df = is_Data_Valid(emp1_f_df)

关键修改说明 #

• 新增df作为函数参数，替换原函数中硬编码的emp_df，让函数可以接收任意结构匹配的DataFrame
• 添加return语句，原函数仅执行withColumn操作但未返回结果，修改后会返回带有校验结果列的新DataFrame
• 保留原有校验逻辑不变，确保校验规则的一致性

内容的提问来源于stack exchange，提问作者Preeti Maddi