PySpark中使用ParamGridBuilder出现参数缺失错误的求助

错误根源：实例方法误用为类方法 #

你遇到的TypeError: addGrid() missing 1 required positional argument: 'values'，核心原因是你直接用ParamGridBuilder类调用了addGrid方法，但addGrid是实例方法，必须先创建ParamGridBuilder的实例（也就是加上括号ParamGridBuilder()）才能调用。

修正后的参数网格代码 #

把你的参数网格代码改成下面这样就可以解决错误：

# 先创建ParamGridBuilder实例，再链式调用addGrid
param_grid = ParamGridBuilder() \
    .addGrid(gradboost.maxDepth, [2, 3, 4]) \
    .addGrid(gradboost.minInfoGain, [0.0, 0.1, 0.2, 0.3]) \
    .addGrid(gradboost.stepSize, [0.05, 0.1, 0.2, 0.4]) \
    .build()

这里的反斜杠只是为了换行让代码更易读，你也可以写在一行。

关于addGrid中values的概念 #

你担心的values和数据框的列完全没关系，它的含义很简单：

• addGrid的第一个参数是模型的参数对象（比如gradboost.maxDepth），这是PySpark ML模型类中预定义的Param实例，代表你要调优的具体参数
• 第二个参数就是values，是你为这个参数准备的候选值列表。调优器（比如CrossValidator）会遍历所有参数的候选值组合，生成多套参数配置，然后用每套配置训练模型，最终通过交叉验证选出效果最好的参数组合

举个例子，你给maxDepth传入[2,3,4]，就是告诉调优器：分别用最大深度为2、3、4的GBT模型训练，看看哪个效果最好。

额外的代码优化提示 #

看了你的完整代码，还有个关键问题需要注意：你现在是先单独拟合了预处理阶段，再训练模型，这样在交叉验证时会出现数据泄露（因为预处理用了全部数据的统计信息，而不是每个fold的单独信息）。正确的做法是把预处理阶段和GBT模型放到同一个Pipeline里，然后对整个Pipeline做调优：

# 重新构建包含所有预处理步骤和模型的完整Pipeline
all_stages = stringindexstage + onehotencoderstage + vectorassmblestage + [gradboost]
full_pipeline = Pipeline(stages=all_stages)

# 用完整Pipeline作为CrossValidator的estimator
crossvalidation = CrossValidator(estimator=full_pipeline, estimatorParamMaps=param_grid, evaluator=evaluator)
crossvalidateData = crossvalidation.fit(traindata)  # 注意这里用训练集，不是全部数据！

另外，你的crossvalidation.fit(dataframe)应该改成用训练集traindata，否则测试集也参与了模型训练，会导致评估结果不准确。

内容的提问来源于stack exchange，提问作者Kalyan