如何在PySpark中动态重命名以20开头的列

要批量重命名DataFrame中所有以20开头的列，核心思路是先识别目标列，再批量修改列名，以下是两种实用方法：

方法一：使用select结合alias（推荐，效率更高） #

先筛选出所有以20开头的列，通过列表推导式构建重命名后的列表达式，一次性生成新的DataFrame：

from pyspark.sql.functions import col

# 假设原始DataFrame名为df
# 构建重命名规则：目标列加后缀_p，其他列保持原名
renamed_columns = [
    col(col_name).alias(f"{col_name}_p") if col_name.startswith('20') 
    else col(col_name) 
    for col_name in df.columns
]

# 生成重命名后的DataFrame
df_renamed = df.select(*renamed_columns)

方法二：循环调用withColumnRenamed #

如果更习惯逐列操作，可以循环遍历目标列，逐个完成重命名：

# 筛选出所有以20开头的列
target_columns = [col_name for col_name in df.columns if col_name.startswith('20')]

df_renamed = df
# 循环重命名每一个目标列
for col_name in target_columns:
    df_renamed = df_renamed.withColumnRenamed(col_name, f"{col_name}_p")

注意事项 #

• 两种方法都能实现需求，select方法只需一次转换，性能更优，尤其是当目标列数量较多时；
• 确保重命名后的列名不会和现有非目标列重复，避免命名冲突。

内容的提问来源于stack exchange，提问作者sparc