PySpark重命名列时丢失行问题（Azure Databricks）

几个靠谱的替代方案 #

• 转义列名中的|后再重命名
  修改你的format_column函数，先给|加上转义符，再执行原有格式处理：

  def format_column(c):
      # 先转义|，避免解析异常
      escaped_col = c.replace("|", r"\|")
      # 原有格式逻辑：转大写、去空格、替换.和`为_
      return escaped_col.upper().replace(" ", "").replace(".", "_").replace("`", "_")
  

  之后用df = df.toDF(*[format_column(c) for c in df.columns])执行重命名，这样Spark能正确识别带|的列，不会因为解析错误丢行。

• 用selectExpr替代toDF/alias做全量重命名
  换一种重命名方式，用selectExpr显式构造列映射，用反引号把原始列名包起来，确保解析正确：

  rename_list = [f"`{col}` AS {format_column(col)}" for col in df.columns]
  df = df.selectExpr(*rename_list)
  

  这种方式绕开了toDF和alias可能触发的解析bug，能稳定完成重命名且不丢行。

• 升级Databricks Runtime版本
  你用的10.4LTS可能存在列名解析的隐性bug，后续的11.3LTS及以上版本大概率修复了这类问题。如果业务允许，直接升级Runtime版本是一劳永逸的办法。

问题根源 #

虽然官方说明|不是Spark SQL的特殊字符，但在10.4LTS版本中，全量重命名带|的列时，Spark优化器可能误将|识别为分隔符，导致列映射逻辑混乱，最终触发隐性的行过滤。而仅重命名部分列时，未触发全量列的解析逻辑，因此不会出现丢行问题。

验证步骤 #

1. 重命名前先打印原始行数：print(f"原行数: {df.count()}")
2. 用上述方案执行重命名后，再次打印行数：print(f"重命名后行数: {df.count()}")
3. 若问题仍存在，查看执行计划df.explain(true)，检查是否存在异常的过滤或投影逻辑。

内容的提问来源于stack exchange，提问作者MMarshall