Salesforce Bulk API导出CSV乱码致Spark读取异常问题咨询

1. 底层原因分析 #

乱码问题 #

Salesforce Bulk 2.0 API返回的原始数据是UTF-8编码，但你的getJobResults方法在导出CSV时，大概率犯了以下错误之一：

• 写入文件时未指定UTF-8编码，而是使用了系统默认编码（比如Windows的GBK、Linux的ISO-8859-1），导致UTF-8的多字节字符（比如¢，UTF-8编码为0xC2 0xA2）被拆分为单个字节解析，最终显示为â¢这类乱码。
• 读取API返回的字节流时，错误地用非UTF-8编码转换为字符串，再写入文件，直接破坏了特殊字符的编码结构。

额外行问题 #

这通常是乱码引发的连锁反应，或是CSV格式处理不当：

• 编码错误会导致字节解析异常，原本不属于换行符的字节被误判为换行标记，从而生成额外的空行或拆分行。
• 如果Salesforce字段包含换行符（比如长文本字段），导出CSV时未用双引号包裹这类字段，Spark读取时会把字段内的换行当成行分隔符，导致行被错误拆分。

2. 最佳解决方法 #

修复CSV导出环节 #

• 直接将Salesforce Bulk API返回的字节流写入文件，跳过字符串转换步骤，避免编码损失。若必须转字符串，需明确指定UTF-8编码：

  // 示例Java代码：直接写入字节流
  InputStream apiResponseStream = getJobResultsApiResponse();
  Files.copy(apiResponseStream, Paths.get("output.csv"), StandardCopyOption.REPLACE_EXISTING);
  
  // 若需转字符串再写入，强制指定UTF-8
  String csvContent = new String(apiResponseStream.readAllBytes(), StandardCharsets.UTF_8);
  Files.write(Paths.get("output.csv"), csvContent.getBytes(StandardCharsets.UTF_8));
  

• 确保包含特殊字符（换行、引号、逗号）的字段被双引号包裹，Salesforce Bulk API默认会处理该规则，若为自定义拼接CSV则需手动实现。

修复Spark读取环节 #

读取CSV时明确指定UTF-8编码，并配置正确的解析参数以处理字段内换行：

// 示例Scala代码
val df = spark.read
  .option("encoding", "UTF-8")
  .option("quote", "\"")
  .option("escape", "\"")
  .option("multiLine", "true") // 处理字段内的换行符
  .option("lineSep", "\n") // 匹配文件实际换行符，Windows环境可改为"\r\n"
  .csv("output.csv")

• 若文件是带BOM的UTF-8格式（Salesforce偶尔会返回此类文件），可添加.option("header", true)（若存在表头）或.option("charset", "UTF-8")来自动处理BOM。

内容的提问来源于stack exchange，提问作者ujjawal