You need to enable JavaScript to run this app. PrintWriter写入S3存储CSV触发FileNotFoundException问题问询
优惠活动
大模型
产品
解决方案
定价
更多

PrintWriter写入S3存储CSV触发FileNotFoundException问题问询

报错根因

核心问题出在写文件时的API选型完全和S3协议不匹配:

  • 你读取S3文件的时候用的是能识别s3a://协议的Hadoop FileSystem抽象,所以能正常读到内容
  • 但创建Writer的时候用的是java.io.File对象,这个类是完全面向本地文件系统设计的,根本不认识s3a://这类分布式存储协议,会直接把整串路径当成本地磁盘上的普通文件路径去查找,自然找不到对应目录抛出FileNotFoundException,这也是为什么报错里的路径显示为s3a:/(少了一个斜杠)——File类根本没做协议解析,只是把字符串做了截断处理。
修正方案
  1. 替换掉原来本地File的初始化逻辑,全程用和读取时同源的FileSystem对象做文件写入:
    • 不要用new File(outputFile),直接用Hadoop的Path类封装你的S3输出路径
    • 通过已初始化好的fileSystem对象的create方法拿输出流,这个方法会自动处理S3路径的创建逻辑,不需要手动提前建目录
    • 把拿到的输出流包装成PrintWriter即可
  2. 同步修正原有代码的语法逻辑问题:
    • 原代码里foreach的大括号位置错误,writer.write的逻辑根本没被包进循环执行体里,就算路径问题解决也写不出数据
    • 流的关闭逻辑要放到finally块里,避免程序异常中断时在S3上生成损坏的空文件

修正后的核心代码片段:

val outputPath = new Path(outputFile)
// create方法第二个参数传true代表覆盖已存在的同名文件
val outputStream = fileSystem.create(outputPath, true)
val writer = new PrintWriter(outputStream)

try {
  writer.write("Date,customer,number,Credit,Average Credit/SKU 1,Average Credit/SKU 2\n")
  filtinp.foreach(x => {
    val (com1, avg1) = com1Average(filtermp, x)
    val (com2, avg2) = com2Average(filtermp, x)
    writer.write(s"${x.day},${x.customer},${x.number},${x.credit},$avg1,$avg2\n")
  })
} finally {
  writer.close()
}
额外注意事项
  • 路径里的&符号是S3路径的合法字符,不需要额外转义
  • 要保证程序配置的S3凭证拥有对应桶的写入权限,权限不足时也会抛出同类型的找不到文件的异常
  • 永远不要把s3a://、hdfs://这类分布式存储路径传给java.io.File类,这类类只能操作本地文件系统的路径

内容的提问来源于stack exchange,提问作者John Chen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 00:06:02