导出Spark DataFrame至S3时CSV乱码且任务未完成的问题排查

核心问题成因 #

• 单分区合并引发的执行阻塞
  当前使用的df.coalesce(1)会将所有上游分区的数据全部拉取到同一个Executor节点做合并，哪怕从df.show()看数据量不大，只要上游链路过长、单节点内存阈值不足，就会在数据拉取阶段卡住，导致任务无法正常收尾，Spark交互提示符不会正常返回。如果拉取过程中出现节点OOM、S3连接中断，写入流程会被直接截断，输出的文件会因为流写入不完整出现二进制乱码，无法展示正常文本内容。
• S3写入协议适配缺失
  当前代码直接使用s3://旧协议路径，没有匹配Spark内置Hadoop S3连接器的参数要求，既未配置正确的访问权限，也未设置连接重试、超时阈值，很容易出现连接无响应卡死的情况；同时协议不匹配会导致文件块组织逻辑异常，把S3对象存储的元数据校验块、临时缓冲块混进最终CSV，形成类似富文本的异常内容。
• CSV序列化规则未配置
  当前写入逻辑没有指定编码、转义、分隔符等基础序列化参数，遇到字段值内的单引号、括号等特殊字符时，会把流的转义控制字符直接写入文件，打开时就会出现格式错乱；加上Append模式没有开启文件提交校验，目标路径下残留的临时文件会和新写入内容拼接，进一步加剧内容异常。

对应修复方案 #

• 把写入路径的s3://<my path>替换为s3a://<实际存储桶路径>，提前在Spark配置中绑定对应的S3访问密钥，保证鉴权流程正常。
• 直接移除coalesce(1)操作，当前DataFrame仅十余行数据，完全不需要强行走单分区合并流程，从根源上避免单节点拉取全量数据的卡顿风险。
• 替换为带标准CSV配置的写入代码：

  df.write
    .mode("Append")
    .option("encoding", "UTF-8")
    .option("sep", ",")
    .option("escape", "\"")
    .option("header", "false")
    .csv("s3a://<my path>")
  

• 给S3连接器补充基础容错配置，在Spark提交参数中加入spark.hadoop.fs.s3a.attempts.maximum=10、spark.hadoop.fs.s3a.connection.timeout=5000，避免连接无响应导致的任务卡死不退出。
• 若确实需要输出单个CSV文件，可将原coalesce(1)替换为repartition(1)，该操作会在写入阶段并行完成分区合并，不会单独把全量数据拉到单个节点上，能大幅降低OOM和卡顿概率。

内容的提问来源于stack exchange，提问作者Debapratim Chakraborty