PySpark基于配置动态生成DataFrame变量名赋值报错如何解决

SyntaxError: can't assign to operator 是Python语法限制导致的：赋值语句左侧必须是可被赋值的对象（比如变量名、列表索引、字典键等），你写的each["final_df"]+'_'+ each["suffix"]是一个字符串拼接表达式，运行后得到的只是普通字符串，不能直接放在等号左侧当作变量接收赋值。

有两种常用实现方式，优先推荐第一种，避免污染全局变量空间：

方法1：用自定义字典存储生成的DataFrame（推荐） #

把所有动态生成的DataFrame都存在一个统一的字典里，字典的键就是你拼接好的变量名字符串，后续使用时直接从字典取即可：

import json
from pyspark.sql.functions import sum

# 初始化专属字典存储所有结果DataFrame
result_dfs = {}

for each in json.loads(config):
    # 拼接目标变量名
    target_name = f"{each['final_df']}_{each['suffix']}"
    # 计算结果存入字典
    result_dfs[target_name] = eval(each["source_df"]).groupBy(each["group"]).agg(sum("value"))

# 后续使用示例
result_dfs["df_taregt_1_new"].show()

方法2：生成全局变量 #

如果你确实需要直接生成可以全局调用的变量，可以操作Python内置的globals()字典，这个字典存储了当前环境所有全局变量，键为变量名字符串，值为变量内容：

import json
from pyspark.sql.functions import sum

for each in json.loads(config):
    target_name = f"{each['final_df']}_{each['suffix']}"
    # 往全局变量字典写入内容
    globals()[target_name] = eval(each["source_df"]).groupBy(each["group"]).agg(sum("value"))

# 后续可以直接调用变量
df_taregt_1_new.show()

不建议滥用eval函数，如果有条件可以提前把所有源DataFrame存入字典，用source_df_dict[each["source_df"]]的方式读取源数据，避免执行不可信字符串带来的安全风险。

内容的提问来源于stack exchange，提问作者Matthew