DataFrame导出CSV时使用分隔符|未能拆分列的问题求助

我使用逗号作为分隔符导出DataFrame时，生成的CSV文件可正常拆分列，但使用如下代码以|作为分隔符导出时，列并未被拆分：

df.write.option("header", True).option("delimiter", "|").mode("overwrite").csv(tax_output)

可能的原因及解决办法 #

• 读取时未匹配分隔符：你导出用了|当分隔符，但读取时必须指定同样的规则才能拆分列。比如用Spark读取要这么写：

  df_read = spark.read.option("header", True).option("delimiter", "|").csv(tax_output)
  

  如果是Excel、Tableau这类工具打开，要手动在导入步骤里指定分隔符为|——默认一般是逗号，所以会把整行识别成一列。

• 数据本身包含|字符：如果字段内容里自带|，Spark导出时会自动用引号包裹该字段（比如col1|"col2|with|pipe"|col3）。这时候要确保读取工具支持识别引号内的分隔符不生效，Spark默认是开启这个逻辑的，其他工具也要打开对应选项。

• 尝试用sep参数替代delimiter：部分旧版本Spark对delimiter参数兼容性一般，可以换用别名sep试试：

  df.write.option("header", True).option("sep", "|").mode("overwrite").csv(tax_output)
  

• 验证导出文件的实际内容：用记事本、VS Code这类纯文本编辑器打开导出的CSV，确认每行是不是真的用|分隔。如果还是逗号，检查tax_output路径是否正确，或者有没有其他代码覆盖了这次导出操作。

内容的提问来源于stack exchange，提问作者lunbox