Spark Scala中无法执行嵌套Unix命令的问题求助

这个问题我碰到过，根源是sys.process库默认不会通过shell来解析管道、重定向这类shell特性，导致你的|、cut这些内容都被当成了aws s3 ls命令的参数，所以才会弹出“Unknown options”的错误。这里给你两个靠谱的解决方案：

方案一：通过Shell包裹命令执行 #

既然直接用管道不行，我们可以把整个命令交给bash（或者sh）来解析执行，只需要用bash -c把带管道的命令包裹起来就行。注意引号的转义，避免语法冲突：

import sys.process._
// 用单引号包裹内层命令，外层用双引号
val cmd_exec = "bash -c 'aws s3 ls s3://<bucket-name>/<folder-name>/ | cut -d' ' -f9-'"
// 执行命令并获取输出
val output = cmd_exec !!
println(output)

不过要注意：这个方法要求你的Spark集群所有节点都安装了AWS CLI，并且配置了正确的权限（比如通过IAM角色或者~/.aws/credentials），否则可能会出现权限问题或者找不到aws命令的错误。

方案二：使用Hadoop FS API（推荐） #

其实你提到的org.apache.hadoop.fs是更适合Spark环境的方案，不需要依赖外部的AWS CLI，直接通过Spark自带的Hadoop库操作S3，稳定性和兼容性更好。具体代码如下：

// 导入必要的Hadoop FS类
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration

// 创建Hadoop配置对象（会自动读取Spark集群的Hadoop配置）
val conf = new Configuration()
// 获取S3文件系统实例
val fs = FileSystem.get(conf)
// 指定要遍历的S3路径
val targetPath = new Path("s3://<bucket-name>/<folder-name>/")

// 列出路径下的所有文件/文件夹状态
val fileStatuses = fs.listStatus(targetPath)

// 提取每个文件/文件夹的名称
val fileNames = fileStatuses.map(status => status.getPath.getName)

// 打印结果
fileNames.foreach(println)

如果只需要文件（排除文件夹），可以再加个判断：

val onlyFiles = fileStatuses.filter(_.isFile).map(status => status.getPath.getName)
onlyFiles.foreach(println)

这个方案的优势在于：不需要在集群节点上额外安装AWS CLI，直接利用Spark的Hadoop集成，而且能更好地和Spark的其他操作结合（比如把文件名转换成RDD或者DataFrame）。

内容的提问来源于stack exchange，提问作者Vijay B