Pandas生成竖线分隔CSV 无正则去除空值导致的多余末尾管道符

问题根因 #

多列数不一致的DataFrame经pd.concat合并时，会自动为缺失列填充空值；导出时如果不对尾部的空值列做处理，就会在每行末尾生成多余的|分隔符，不符合数据库上传的格式要求。

可落地实现步骤 #

• 基础合并排序流程
  先完成三个DataFrame的纵向拼接、按Column1字段排序的基础操作：

  import pandas as pd
  
  # 列数不一致的三个示例DataFrame
  df1 = pd.DataFrame({"Column1": [3,1], "Column2": ["c","a"], "Column3": [30,10]})
  df2 = pd.DataFrame({"Column1": [2], "Column2": ["b"]})
  df3 = pd.DataFrame({"Column1": [4], "Column2": ["d"], "Column3": [40], "Column4": ["extra"]})
  
  # 纵向合并+按Column1升序排序，重置索引避免排序后的索引混乱
  merged_df = pd.concat([df1, df2, df3], ignore_index=True).sort_values("Column1").reset_index(drop=True)
  

• 导出环节处理行尾多余分隔符，提供两种无正则可选方案
  方案一：清理全空尾部列后调用to_csv导出
  从DataFrame最右侧的列开始向左遍历，删除整列全为空的无效列后，再配置导出参数，从根源减少无效分隔符生成：

  # 从右往左逐列判断，删掉全空的尾部列
  for col in reversed(merged_df.columns):
      if merged_df[col].isna().all():
          merged_df = merged_df.drop(columns=col)
      else:
          break
  
  # 导出配置
  merged_df.to_csv(
      "output.csv",
      sep="|",
      index=False,
      na_rep="", # 空值直接留空，不填充额外占位字符
      lineterminator="\n"
  )
  

  方案二：逐行手动拼接文件内容，完全规避导出组件的自动拼接逻辑
  针对部分行尾部存在空值（而非整列全空）的场景，逐行裁剪掉连续的尾部空值后再拼接，不会出现多余分隔符：

  # 提前把所有空值替换为空字符串
  processed_df = merged_df.fillna("")
  file_lines = []
  
  # 写入表头
  file_lines.append("|".join(processed_df.columns))
  
  # 逐行处理数据
  for _, row in processed_df.iterrows():
    row_values = list(row)
    # 从右往左移除连续的尾部空值
    while row_values and row_values[-1] == "":
        row_values.pop()
    file_lines.append("|".join(str(value) for value in row_values))
  
  # 写入本地文件
  with open("output.csv", "w", encoding="utf-8") as f:
      f.write("\n".join(file_lines))
  

两种方案导出的文件格式完全符合要求：所有非尾部的空值会保留对应分隔位，每行末尾不会残留多余的竖线，全程没有使用正则表达式处理内容，满足约束条件。

内容的提问来源于stack exchange，提问作者Tanai Goncalves