AWS EMR中Hadoop作业读写S3时出现文件已存在异常求助

这个问题我之前帮不少用户排查过，结合你的情况——本地单节点正常、5节点集群报错，且输出路径带时间戳理论上不存在，咱们一步步来分析原因和解决办法：

先确认核心问题：路径真的存在吗？ #

先别急着改代码或配置，先去S3控制台或者用aws s3 ls命令检查报错的路径：

aws s3 ls s3://<mybucket_name>/8_9_0a4574ca-96d0-47c8-8eb8-4deb82944d4b/customer/RawFile12.txt/1523583593/

如果确实存在文件，大概率是作业重试残留或并行写入冲突；如果路径不存在，那可能是S3的最终一致性在搞鬼。

常见原因及对应解决方案 #

1. EMR作业自动重试导致的残留文件 #

EMR的YARN默认会在作业失败时自动重试（默认重试次数2-3次），第一次作业运行时已经在S3创建了部分输出文件，重试时Hadoop检查到路径存在就会报错。

• 快速解决：开启输出路径覆盖
  在提交作业时添加Hadoop参数，允许覆盖已存在的输出路径：

  # 新版Hadoop（2.x+）
  hadoop jar your-job.jar com.your.package.YourDriver \
    -D mapreduce.output.fileoutputformat.outputdir.overwrite=true \
    s3://your-input-path \
    s3://your-output-path-with-timestamp
  
  # 旧版Hadoop（1.x）
  hadoop jar your-job.jar com.your.package.YourDriver \
    -D mapred.output.overwrite=true \
    s3://your-input-path \
    s3://your-output-path-with-timestamp
  

  也可以在Driver代码里直接配置：

  Configuration conf = new Configuration();
  conf.set("mapreduce.output.fileoutputformat.outputdir.overwrite", "true");
  Job job = Job.getInstance(conf, "YourJobName");
  

• 进阶处理：重试前清理路径
  如果不想覆盖文件，可以在作业启动前通过脚本删除输出路径：

  aws s3 rm --recursive s3://your-output-path-with-timestamp
  # 等待几秒确保S3删除生效（应对最终一致性）
  sleep 5
  # 再提交作业
  hadoop jar your-job.jar ...
  

2. 多节点并行写入冲突 #

单节点环境下没有并行写入问题，但5节点集群中，多个Mapper/Reducer可能同时尝试写入同一个文件路径（比如你的作业逻辑强制所有Reducer输出到同一个文件，而不是默认的part-r-xxxx分片文件）。

• 解决方法：调整作业输出逻辑
  确保每个Reducer输出独立的分片文件（Hadoop默认行为），如果需要合并成单个文件，可以在作业完成后用hadoop fs -getmerge或S3的合并工具处理，不要让多个任务同时写入同一个文件。

3. S3最终一致性导致的“假存在” #

S3是最终一致性存储，如果你之前手动删除过该路径，集群的Hadoop客户端可能还缓存着路径存在的状态，或者删除操作还没同步到所有S3节点。

• 解决方法：添加延迟或刷新缓存
  • 在删除路径后等待5-10秒再提交作业；
  • 在Driver代码中禁用Hadoop的文件系统缓存：

    conf.set("fs.s3a.impl.disable.cache", "true");
    

4. 时间戳生成逻辑的潜在问题 #

虽然你说时间戳是唯一的，但还是要排查：

• 时间戳是在本地提交作业时生成还是集群运行时生成？如果是本地生成，作业重试时会复用同一个时间戳，导致路径重复；改成在Driver代码里生成时间戳，每次作业运行（包括重试）都会生成新路径。
• 时间戳精度够不够？如果用的是秒级时间戳，作业在1秒内重试就会冲突，改成毫秒级时间戳即可避免。

总结排查步骤 #

1. 验证S3路径是否真的存在；
2. 优先尝试开启输出覆盖参数，快速验证是否是重试残留问题；
3. 如果覆盖无效，检查作业的并行写入逻辑；
4. 最后排查时间戳生成和S3一致性问题。

内容的提问来源于stack exchange，提问作者Sateesh K