PySpark动态重命名列仅部分生效问题如何解决

• 列名前后空格不匹配：源schema里的 productID、 Paymentterm、 datetime、 xyzID等列名自带前导空格，你的映射字典source_target_mapping的键大概率没有对应匹配前导空格，触发get方法的默认返回逻辑，直接返回原列名。
• 映射字典键不匹配：只有customerID成功匹配到映射规则，说明其余列要么没写入映射字典，要么键的大小写和源列名不一致，PySpark默认对列名大小写敏感，大小写不符会直接匹配失败。
• 列顺序错位：你实际输出的列顺序和预期不一致，是因为遍历df_xyz.columns的顺序和你预期的目标列顺序不匹配。

方案1：先清理列空格再匹配映射（通用场景） #

先统一清除源列名的前后空格，再用清理后的列名匹配映射规则，适合列顺序不需要严格固定的场景：

# 定义正确的源列->目标列映射，键为清理空格后的源列名
source_target_mapping = {
    "customerID": "customer_Number",
    "productID": "product_Number",
    "Paymentterm": "Payment_Term",
    "datetime": "DateTime",
    "xyzID": "Company_ID"
}

# 重命名逻辑：先清空格再匹配映射
df_rename_schema = df_xyz.select([
    col(c).alias(source_target_mapping.get(c.strip(), c.strip()))
    for c in df_xyz.columns
])

# 验证输出
print(df_rename_schema.columns)

如果需要保留目标列名的前导空格，直接在映射的值里加前导空格即可，比如"productID": " product_Number"。

方案2：按固定顺序映射（完全匹配预期输出） #

如果需要严格对齐你给出的预期列顺序，直接按源列和目标列的对应顺序批量映射即可：

# 按预期顺序定义源、目标列对应关系
source_cols = ["customerID", " productID", " Paymentterm", " datetime", " xyzID"]
target_cols = ["customer_Number", " product_Number", " Payment_Term", " DateTime", " Company_ID"]

df_rename_schema = df_xyz.select([
    col(sc).alias(tc) for sc, tc in zip(source_cols, target_cols)
])

内容的提问来源于stack exchange，提问作者arundhati sen