Scala Spark使用§作为CSV分隔符时文件异常的排查请求

针对使用§作为Spark CSV写入分隔符时文件内容混乱的问题，可按以下步骤逐一排查：

1. 确认分隔符的正确性 #

先验证传递的分隔符是否为正确的Unicode字符U+00A7，避免字符传递过程中出现编码偏差：

val delimiter = "§"
println(s"分隔符Unicode编码: ${delimiter.codePointAt(0)}") // 正常输出应为167

若输出不是167，说明字符在代码保存或传递时出现了编码错误，需检查文件编码是否为UTF-8。

2. 调整CSV写入的escape与quote配置 #

你当前设置了option("escape", "")，这会导致特殊字符无法被正确转义。使用非标准分隔符时，建议保留或显式指定默认的转义规则：

df
  .coalesce(1)
  .write.mode(SaveMode.Overwrite)
  .option("header", "true")
  .option("delimiter", delimiter)
  .option("quote", "\"") // 显式指定引号字符
  .option("escape", "\"") // 显式指定转义字符
  .csv(outputPath)

如果数据中原本包含§，未转义的情况下会被误识别为分隔符，导致内容混乱。

3. 修正数据清理逻辑 #

你的清理正则[^ -~]不会移除§（它属于ASCII范围内字符），如果原始数据中存在§，会和分隔符冲突。可动态调整正则，移除数据中的分隔符：

private def preClearData(df: DataFrame, delimiter: String): DataFrame = {
    val delimiterRegex = Pattern.quote(delimiter)
    val dfCleaned = df.columns.foldLeft(df) { (memoDF, colName) =>
        memoDF.withColumn(colName, regexp_replace(df.col(colName), delimiterRegex, ""))
    }
    dfCleaned
}

确保数据中不存在与分隔符相同的字符，避免解析混淆。

4. 验证输出文件的编码 #

Spark默认以UTF-8编码写入CSV，但部分文本工具可能用GBK等编码打开，导致§显示乱码。用Notepad++等工具切换到UTF-8编码打开文件，确认是真的内容混乱还是编码显示问题。

5. 排除coalesce(1)的影响 #

coalesce(1)强制生成单个文件，大数据量下可能引发单节点处理的编码异常。先移除该配置，生成多文件验证是否正常：
若多文件内容正常，再考虑用repartition(1)替代（性能略差但分区逻辑更稳定），或后期手动合并文件。

6. 测试最小示例 #

创建极简测试DataFrame，直接写入§分隔的CSV，排除原始数据的干扰：

val testDF = spark.createDataFrame(Seq(
  (1, "a", "b"),
  (2, "c", "d")
)).toDF("id", "col1", "col2")

saveToCsv(testDF, "test.csv", "§")

若测试文件正常，说明问题出在原始数据处理环节；若仍异常，需检查Spark版本或环境编码配置。

内容的提问来源于stack exchange，提问作者dontMashMe