如何让Pandas管道函数工厂兼容str命名空间方法？

问题背景 #

在编写Pandas管道时，常需要重复编写类似如下的包装函数：

def replace(df, column, *args, **kwargs):
    df[column] = df[column].str.replace(*args, **kwargs)
    return df

def split(df, column, *args, **kwargs):
    df[column] = df[column].str.split(*args, **kwargs)
    return df

示例使用 #

>>> df = pd.DataFrame(["C:\\path1", "C:\\path2", "C:\\path3"], columns=["Path"])
    Path
0   C:\path1
1   C:\path2
2   C:\path3
>>> (
        df
        .pipe(replace, "Path", "C:\\", "D:\\", regex=False)
        .pipe(split, "Path", "\\")
    )
    Path
0   [D:, path1]
1   [D:, path2]
2   [D:, path3]

为了避免代码重复，编写了如下函数工厂：

def make_pipe(func):
    def wrapper(df, column, *args, **kwargs):
        df[column] = func(df[column], *args, **kwargs)
        return df
    return wrapper

该工厂能正常处理Series的直接方法，比如：

>>> isnull = make_pipe(pd.Series.isnull)
>>> isnull(df, "Path")
    Path
0   False
1   False
2   False 

但处理通过str命名空间访问的方法时会报错：

>>> replace = make_pipe(pd.Series.str.replace)
>>> replace(df, "Path", "C:\\", "D:\\", regex=False)
AttributeError: 'Series' object has no attribute '_inferred_dtype'

问题原因 #

pd.Series.str.replace这类方法属于StringMethods对象的方法，而非Series的直接方法。直接传递该方法时，调用过程缺少StringMethods实例的上下文，导致无法正确执行。

解决方案 #

修改函数工厂，使其支持传入访问器（如str），先通过访问器获取对应实例后再调用目标方法。以下是两种可行的实现方式：

方式1：显式指定访问器 #

def make_pipe(func, accessor=None):
    def wrapper(df, column, *args, **kwargs):
        series = df[column]
        # 如果指定了访问器，先获取对应实例
        if accessor is not None:
            series = getattr(series, accessor)
        df[column] = func(series, *args, **kwargs)
        return df
    return wrapper

使用示例

# 创建str.replace的管道函数
replace = make_pipe(pd.Series.str.replace, accessor='str')
# 创建str.split的管道函数
split = make_pipe(pd.Series.str.split, accessor='str')
# 创建普通Series方法的管道函数
isnull = make_pipe(pd.Series.isnull)

# 测试管道
result = (
    df
    .pipe(replace, "Path", "C:\\", "D:\\", regex=False)
    .pipe(split, "Path", "\\")
)
print(result)

方式2：传递方法名与访问器（更灵活） #

def make_pipe(method_name, accessor=None):
    def wrapper(df, column, *args, **kwargs):
        series = df[column]
        if accessor is not None:
            series = getattr(series, accessor)
        # 通过方法名获取并调用方法
        df[column] = getattr(series, method_name)(*args, **kwargs)
        return df
    return wrapper

使用示例

replace = make_pipe('replace', accessor='str')
split = make_pipe('split', accessor='str')
isnull = make_pipe('isnull')

# 测试管道
result = (
    df
    .pipe(replace, "Path", "C:\\", "D:\\", regex=False)
    .pipe(split, "Path", "\\")
)
print(result)

两种方式都能解决str命名空间方法的兼容问题，同时保留对普通Series方法的支持。

内容的提问来源于stack exchange，提问作者edd313