如何实现PySpark DataFrame拼接用户变量的动态命名？

你已通过如下代码读取CSV生成了基础DataFrame out_df：

out_df = spark.read.csv(r"group_number_out.csv", header=True, inferSchema=True)
out_df = out_df.withColumn("dates", F.col('dates').cast(DateType()))
out_df.show()

要实现根据user_name变量的值动态拼接生成对应命名的DataFrame，可使用以下两种方案：

方案1：直接生成全局变量（适合直接调用对应变量的场景） #

通过Python内置的globals()全局变量字典动态赋值，示例如下：

# 输入用户名变量
user_name = 'tom'
# 动态生成拼接后的变量并赋值
globals()[f"{user_name}_out_df"] = out_df

# 验证：直接调用tom_out_df即可，内容与原out_df完全一致
tom_out_df.show()

• 该赋值为引用传递，不会重复复制DataFrame数据，无额外性能损耗
• 若在函数局部作用域内使用，可将globals()替换为locals()

方案2：存入字典统一管理（适合多用户DataFrame批量管理的场景） #

如果需要同时管理多个用户的DataFrame，避免全局变量污染，可存入字典统一调用：

user_df_container = {}
user_name = 'tom'
user_df_container[f"{user_name}_out_df"] = out_df

# 调用方式
user_df_container['tom_out_df'].show()

内容的提问来源于stack exchange，提问作者chandu