PySpark.ml管道：基础预处理任务是否需要自定义转换器？

我刚接触PySpark.ml和Pipeline API的时候，遇到个小问题——要在管道里完成一些常规的预处理任务（比如筛选特定列），现成的组件没法直接满足需求，这时候就得自己写自定义Transformer了。给你看看我当时写的一个基础示例：

from pyspark.ml import Pipeline, Transformer

class CustomTransformer(Transformer):
    # 偷懒的临时解决办法——因为Transformer要求必须有这些属性
    _defaultParamMap = dict()
    _paramMap = dict()
    _params = dict()

class ColumnSelector(CustomTransformer):
    """用于PySpark管道的列选择转换器，负责选择指定的列子集"""

简单解释下：这里先定义了一个CustomTransformer基类，主要是偷懒避免每次写自定义转换器都要重复声明那些PySpark要求的属性。之后的ColumnSelector继承它，就可以专注实现自己的核心逻辑了——比如你可以给它加个构造方法来接收要选择的列名列表，再实现transform方法来完成实际的列筛选操作。

内容的提问来源于stack exchange，提问作者clstaudt