在Databricks中使用字典键值对修改列名的方法

针对你提出的「列位置可能变化，需要用字典映射修改列名」的需求，以下是两种高效的实现方案，同时解决你尝试JSON文件未成功的问题：

1. 基础实现：字典循环重命名 #

先定义键值对形式的列名映射字典（键为原列名，值为新列名），通过循环调用withColumnRenamed完成批量修改：

# 定义列名映射字典（原列名和新列名都用字符串）
col_mapping = {'ID': 'Patient_ID', 'Name': 'Patient_Name', 'Age': 'Patient_age'}

# 加载源DataFrame（示例为读取Databricks表，可替换为你的实际数据源）
df = spark.table("your_source_table")

# 循环遍历字典，批量重命名列
for old_col, new_col in col_mapping.items():
    df = df.withColumnRenamed(old_col, new_col)

# 查看重命名结果
df.display()

2. 高效方案：用selectExpr批量生成表达式 #

当列数量较多时，这种方法性能更优，还能自动保留未在字典中定义的列：

col_mapping = {'ID': 'Patient_ID', 'Name': 'Patient_Name', 'Age': 'Patient_age'}
df = spark.table("your_source_table")

# 生成SELECT表达式：匹配字典的列重命名，其余列保持原名
select_expr = [
    f"`{old_col}` AS `{new_col}`" if old_col in col_mapping else f"`{old_col}`"
    for old_col in df.columns
]

# 执行重命名
df_renamed = df.selectExpr(*select_expr)
df_renamed.display()

注：如果列名包含空格、特殊符号，需要用反引号`包裹列名，避免语法错误。

3. 从JSON文件加载映射字典 #

如果你想用JSON文件存储列名映射，可按以下步骤操作：

1. 准备JSON文件（比如col_mapping.json），内容如下：

{"ID": "Patient_ID", "Name": "Patient_Name", "Age": "Patient_age"}

2. 将文件上传到Databricks的DBFS（示例路径：dbfs:/FileStore/col_mapping.json）
3. 读取JSON并加载为字典：

import json

# 读取DBFS上的JSON文件
with open("/dbfs/FileStore/col_mapping.json", "r") as f:
    col_mapping = json.load(f)

# 后续步骤同上面的重命名方法

注意事项 #

• 列名匹配大小写敏感，若需忽略大小写，可先统一转换列名（比如[col.lower() for col in df.columns]）再进行匹配
• 字典中的原列名若不存在于DataFrame中，withColumnRenamed会忽略该条目，不会报错

内容的提问来源于stack exchange，提问作者Darkmaster