Pandas性能警告无法消除：Joblib多进程下抑制失效与优化方法

1. Joblib多进程下抑制PerformanceWarning #

Joblib的每个子进程会独立初始化Python运行环境，主进程设置的警告过滤规则无法自动传递到子进程。必须在子进程执行的任务函数内部单独添加警告抑制代码：

import pandas as pd
import warnings
from joblib import Parallel, delayed

def process_task(df_chunk):
    # 在子进程内配置警告抑制
    warnings.simplefilter(action='ignore', category=pd.errors.PerformanceWarning)
    # 执行列创建操作
    for l in range(1,281):
        df_chunk[str(l)] = df_chunk['C']
    return df_chunk

# 并行调用示例
results = Parallel(n_jobs=30)(delayed(process_task)(df_segment) for df_segment in ...)

这种方式能确保每个子进程都生效警告过滤，是最可靠的解决办法。

2. 高效创建重复列以避免警告 #

按照Pandas警告提示的方向，一次性批量添加所有列，彻底避免循环插入导致的DataFrame碎片化问题，同时性能大幅提升：

方法一：字典推导式生成新列DataFrame后合并 #

# 批量生成280个重复列的DataFrame
new_columns = pd.DataFrame({
    str(l): df['C'] for l in range(1, 281)
})
# 合并到原DataFrame
df = pd.concat([df, new_columns], axis=1)

方法二：Numpy数组重塑批量生成（性能最优） #

利用Numpy的数组重复操作，一次性生成所有列的数值，避免循环或字典推导的额外开销：

import numpy as np

# 将原列值重复280次并重塑为二维数组
repeat_vals = np.tile(df['C'].values.reshape(-1, 1), 280)
# 生成带指定列名的DataFrame
new_columns = pd.DataFrame(repeat_vals, index=df.index, columns=[str(l) for l in range(1,281)])
# 合并到原DataFrame
df = pd.concat([df, new_columns], axis=1)

该方法不会触发碎片化警告，且执行速度远快于循环添加列的方式。

内容的提问来源于stack exchange，提问作者afshin