使用自定义FunctionTransformer触发ValueError：需传入索引，该如何解决？

你自定义了继承自sklearn FunctionTransformer的AverageDigitDistanceTransformer类，用于计算字符串中数字的平均间距，但调用X_train[['domain']].apply(AverageDigitDistanceTransformer().transform)时触发了错误：

ValueError: If using all scalar values, you must pass an index

问题原因 #

1. 调用方式错误：sklearn的Transformer类（包括你自定义的）的transform方法是用来直接处理整个数据集（Series/DataFrame）的，不需要通过pandas的apply方法逐列/逐行调用。apply会改变数据传递的方式，导致Transformer的处理逻辑出现索引不匹配的问题。
2. Wrapper函数索引缺失：你的wrapper函数返回DataFrame时没有显式保留原数据的索引，当处理单条数据或特定场景时，pandas无法识别结果的索引，从而抛出“必须传递索引”的错误。

解决方案 #

方案1：修正调用方式并完善Wrapper函数

调整Transformer的调用逻辑，直接使用transform方法处理整个数据集，同时确保Wrapper函数返回的DataFrame保留原索引：

from sklearn.preprocessing import FunctionTransformer
from functools import partial
from types import FunctionType
from statistics import mean

import pandas as pd

X_train = pd.DataFrame(columns=['domain'])
X_train.loc[36] = ['e1548bfed8d05713acacc4d33393b258.org']
X_train.loc[25] = ['google.de']

print("原始数据：")
print(X_train)

def wrapper(series: pd.Series, func: FunctionType) -> pd.DataFrame:
    # 显式保留原索引，避免索引缺失导致的错误
    result_series = series.apply(func)
    return pd.DataFrame(
        result_series, 
        index=series.index, 
        columns=['avg_digit_distance']
    )

class CustomFunctionTransformer(FunctionTransformer):
    def __init__(self, func):
        super().__init__(partial(wrapper, func=func), validate=False)

class AverageDigitDistanceTransformer(CustomFunctionTransformer):
    def __init__(self):
        super().__init__(average_digit_distance)
        
def average_digit_distance(string: str) -> float:
    digit_indices = [i for (i,c) in enumerate(string) if c.isdigit()]
    digit_distances = [succ - pred for pred, succ in zip(digit_indices, digit_indices[1:])]
    return mean(digit_distances) if digit_distances else 0.0

# 正确调用：直接传入整个Series，无需apply
transformer = AverageDigitDistanceTransformer()
distance_result = transformer.transform(X_train['domain'])

print("\n计算结果：")
print(distance_result)

# 将结果合并到原数据框
X_train = pd.concat([X_train, distance_result], axis=1)
print("\n合并后的数据：")
print(X_train)

方案2：简化实现（无需自定义Transformer子类）

如果不需要保留自定义Transformer类的结构，可以直接用FunctionTransformer包装目标函数，简化代码：

from sklearn.preprocessing import FunctionTransformer
from statistics import mean
import pandas as pd

X_train = pd.DataFrame(columns=['domain'])
X_train.loc[36] = ['e1548bfed8d05713acacc4d33393b258.org']
X_train.loc[25] = ['google.de']

def average_digit_distance(string: str) -> float:
    digit_indices = [i for (i,c) in enumerate(string) if c.isdigit()]
    digit_distances = [succ - pred for pred, succ in zip(digit_indices, digit_indices[1:])]
    return mean(digit_distances) if digit_distances else 0.0

# 直接用FunctionTransformer包装，处理结果为DataFrame
transformer = FunctionTransformer(
    lambda x: pd.DataFrame(
        x.apply(average_digit_distance), 
        columns=['avg_digit_distance']
    )
)

distance_result = transformer.transform(X_train['domain'])
X_train['avg_digit_distance'] = distance_result

print(X_train)

关键说明 #

• 避免用pandas的apply调用sklearn Transformer的transform方法，Transformer设计用来处理批量数据，直接传入整个数据集即可。
• 确保返回的DataFrame保留原数据的索引，这是避免“scalar值需传递索引”错误的核心。

内容的提问来源于stack exchange，提问作者william007