如何在PySpark中动态生成唯一DataFrame名称并赋值？

问题原因说明 #

Python不允许直接给字符串拼接这类表达式赋值变量，所以c +'_df_name' = ...会触发语法错误；而仅生成字符串名称时，该名称并未在当前命名空间中定义，自然无法直接调用。

方法1：用字典存储（推荐） #

这是最规范、易维护的方案，将所有动态生成的DataFrame存入字典，用自定义名称作为键，既能避免命名空间混乱，又方便后续调用和合并。

示例代码：

import pandas as pd

# 示例列名数组
columns = ['name', 'age', 'gender']
# 示例原始数据集
original_df = pd.DataFrame({
    'name': ['Alice', 'Bob'],
    'age': [25, 30],
    'gender': ['F', 'M']
})

# 初始化字典存储DataFrame
df_collection = {}

for col in columns:
    # 对列执行自定义操作（示例为提取列并重命名）
    processed_df = original_df[[col]].rename(columns={col: f"{col}_processed"})
    # 生成自定义名称作为字典键
    df_name = f"{col}_df_name"
    df_collection[df_name] = processed_df

# 调用指定DataFrame
print(df_collection['name_df_name'])

# 后续合并所有DataFrame
merged_df = pd.concat(df_collection.values(), axis=1)

方法2：直接修改命名空间（不推荐） #

如果一定要生成可直接调用的全局/局部变量，可以通过globals()或locals()函数操作命名空间字典，但这种方式会污染命名空间，易引发变量冲突，仅适合临时场景。

示例代码：

for col in columns:
    processed_df = original_df[[col]].rename(columns={col: f"{col}_processed"})
    var_name = f"{col}_df_name"
    # 将变量添加到全局命名空间
    globals()[var_name] = processed_df

# 直接调用生成的变量
print(name_df_name)

内容的提问来源于stack exchange，提问作者user16798185