PrintWriter写入S3存储CSV触发FileNotFoundException问题问询
报错根因
核心问题出在写文件时的API选型完全和S3协议不匹配:
- 你读取S3文件的时候用的是能识别
s3a://协议的Hadoop FileSystem抽象,所以能正常读到内容 - 但创建Writer的时候用的是
java.io.File对象,这个类是完全面向本地文件系统设计的,根本不认识s3a://这类分布式存储协议,会直接把整串路径当成本地磁盘上的普通文件路径去查找,自然找不到对应目录抛出FileNotFoundException,这也是为什么报错里的路径显示为s3a:/(少了一个斜杠)——File类根本没做协议解析,只是把字符串做了截断处理。
修正方案
- 替换掉原来本地File的初始化逻辑,全程用和读取时同源的FileSystem对象做文件写入:
- 不要用
new File(outputFile),直接用Hadoop的Path类封装你的S3输出路径 - 通过已初始化好的
fileSystem对象的create方法拿输出流,这个方法会自动处理S3路径的创建逻辑,不需要手动提前建目录 - 把拿到的输出流包装成PrintWriter即可
- 不要用
- 同步修正原有代码的语法逻辑问题:
- 原代码里foreach的大括号位置错误,
writer.write的逻辑根本没被包进循环执行体里,就算路径问题解决也写不出数据 - 流的关闭逻辑要放到finally块里,避免程序异常中断时在S3上生成损坏的空文件
- 原代码里foreach的大括号位置错误,
修正后的核心代码片段:
val outputPath = new Path(outputFile) // create方法第二个参数传true代表覆盖已存在的同名文件 val outputStream = fileSystem.create(outputPath, true) val writer = new PrintWriter(outputStream) try { writer.write("Date,customer,number,Credit,Average Credit/SKU 1,Average Credit/SKU 2\n") filtinp.foreach(x => { val (com1, avg1) = com1Average(filtermp, x) val (com2, avg2) = com2Average(filtermp, x) writer.write(s"${x.day},${x.customer},${x.number},${x.credit},$avg1,$avg2\n") }) } finally { writer.close() }
额外注意事项
- 路径里的
&符号是S3路径的合法字符,不需要额外转义 - 要保证程序配置的S3凭证拥有对应桶的写入权限,权限不足时也会抛出同类型的找不到文件的异常
- 永远不要把
s3a://、hdfs://这类分布式存储路径传给java.io.File类,这类类只能操作本地文件系统的路径
内容的提问来源于stack exchange,提问作者John Chen
相关产品推荐
相关产品推荐

