如何不使用exec从文件名初始化DataFrame以适配joblib并行处理？

不要用exec动态生成变量名，这不仅在joblib并行场景下无法跨进程传递变量，还容易导致命名空间混乱、调试困难。改用字典来统一管理所有DataFrame是更稳妥的方案，完全适配joblib并行处理。

步骤1：定义单文件处理函数 #

把单个.out文件的初始化、处理逻辑封装成独立函数，函数返回文件名对应的主DataFrame和临时DataFrame：

import pandas as pd
from pathlib import Path
from joblib import Parallel, delayed

def process_single_out(file_path):
    # 提取文件名（去掉.out后缀）
    df_base_name = str(file_path).removesuffix(".out")
    # 初始化主DF和临时DF
    main_df = pd.DataFrame(columns=['col_1', 'col_2', 'col_3'])
    tmp_df = pd.DataFrame(columns=['col_1', 'col_2', 'col_3'])
    
    # --- 这里添加你的文件处理逻辑 ---
    # 比如读取.out文件内容、解析数据填充到两个DF中
    # with open(file_path, 'r') as f:
    #     for line in f:
    #         # 处理每行数据并添加到DF
    #         pass
    
    return (df_base_name, main_df, tmp_df)

步骤2：用joblib并行处理所有文件 #

通过Parallel和delayed实现并行，最后将结果整理到字典中：

# 获取所有.out文件路径
all_out_files = list(Path(".").glob("*.out"))

# 并行处理，n_jobs=-1表示用所有可用CPU核心
processed_results = Parallel(n_jobs=-1)(
    delayed(process_single_out)(file) for file in all_out_files
)

# 整理结果为字典，键是文件名，值包含主DF和临时DF
df_collection = {}
for name, main_df, tmp_df in processed_results:
    df_collection[name] = {
        "main": main_df,
        "tmp": tmp_df
    }

访问DataFrame的方式 #

之后要调用某个文件对应的DataFrame，直接通过字典键访问即可，和原来的变量名用法逻辑一致：

# 比如访问test.out对应的主DF
df_collection["test"]["main"]
# 访问临时DF
df_collection["test"]["tmp"]

为什么这个方案适配joblib？ #

1. 子进程处理完文件后，会将结果返回给主进程，字典可以统一收集所有结果，避免了exec在子进程中创建变量无法传递的问题。
2. 字典是Python原生可序列化对象，joblib可以安全地在进程间传递这类数据。
3. 统一管理所有DataFrame，避免了动态变量导致的命名冲突和调试难题。

内容的提问来源于stack exchange，提问作者Anavae