PySpark中Params对象使用问题：overrides无法赋值及迭代报错

错误原因 #

你直接访问self.overrides时，拿到的是类级别定义的Param元数据对象，而非实例实际存储的列表值，这就是为什么会出现'Param' object is not iterable错误——你在尝试迭代一个参数定义对象，不是你赋值的字符串列表。

修正步骤 #

1. 正确设置参数默认值：在Param定义时直接指定默认值，而非通过_setDefault（该方法为私有方法，调用方式不符合框架规范）。
2. 通过框架API获取参数值：使用Params框架提供的getParam()方法获取实例的实际参数值，而非直接访问类属性。
3. 规范初始化与参数设置流程：确保父类初始化时接收参数，避免参数丢失。

修正后的代码 #

from typing import List
# 假设你导入了Params、Param、TypeConverters、keyword_only等依赖

class _AB(Params):
    # 在Param定义时直接指定默认值和类型转换器
    overrides = Param(
        Params._dummy(), 
        "overrides", 
        "Parameters for environment setup", 
        typeConverter=TypeConverters.toListString,
        default=None
    )
    
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)

class A(_AB):
    @keyword_only
    def __init__(self, overrides=None):
        # 将参数传递给父类初始化
        super().__init__(**self._input_kwargs)
        self.setParams(**self._input_kwargs)

    @keyword_only
    def setParams(self, overrides: List[str]):
        # 调用父类的参数设置方法确保值被正确存储
        return super().setParams(**self._input_kwargs)

    def c(self):
        # 通过getParam获取实际的参数值
        overrides_value = self.getParam('overrides')
        print(f"实际参数值: {overrides_value}")
        if overrides_value:
            for i in overrides_value:
                print(i)

a = A(overrides=["dsfs", "Sdf"])
a.c()

关键说明 #

• 类中定义的overrides = Param(...)是参数的元数据（用于描述参数的名称、说明、类型转换规则等），并非实例的实际值存储位置。
• Params框架会将实例的参数值存储在内部结构中，必须通过getParam(参数名)才能获取到实际赋值的列表。
• 修正默认值的设置方式后，框架会自动处理参数的初始化与类型转换，确保传入的列表被正确解析。

内容的提问来源于stack exchange，提问作者300