AWS Data Pipeline执行S3远程JAR失败：提示‘Skip remote jar’

我之前在使用AWS Data Pipeline运行Spark JAR时也碰到过一模一样的“Skip remote jar”警告，折腾了好一阵才搞定，给你几个可行的排查和解决方向：

1. 优先检查IAM角色权限 #

这是最容易踩坑的点：确保Data Pipeline执行步骤所使用的IAM角色，拥有读取目标S3桶及JAR文件的权限。你需要给角色添加类似这样的权限策略：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": "arn:aws:s3:::MyBucket/my-jar.jar"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::MyBucket"
        }
    ]
}

如果角色没有权限，command-runner会因为无法下载远程JAR而直接跳过，就会出现你看到的警告。

2. 调整spark-submit命令的执行方式 #

有时候Data Pipeline的command-runner对直接引用S3 JAR的支持不够稳定，你可以先把JAR从S3拷贝到集群本地再执行，这样就能绕开“Skip remote jar”的问题。修改你的命令为：

command-runner.jar,bash,-c,"aws s3 cp s3://MyBucket/my-jar.jar /tmp/ && spark-submit --deploy-mode cluster --master yarn --class com.myorg.myapp.MyClass /tmp/my-jar.jar myArg"

这个命令会先通过aws s3 cp把JAR下载到集群的临时目录，再执行spark-submit，完全避开远程JAR的读取问题。

3. 检查路径和类名的大小写 #

AWS S3的路径是大小写敏感的，仔细核对你的桶名、JAR路径、类名是否完全匹配（比如MyBucket和mybucket是两个不同的桶，com.myorg.myapp.MyClass和com.myorg.myapp.myclass也会导致找不到类）。很多时候报错都是因为大小写拼写错误。

4. 查看更详细的日志信息 #

“Skip remote jar”只是表面警告，你需要去CloudWatch日志组里找到该Data Pipeline步骤的完整日志，或者登录YARN集群查看Application Master的日志，里面会有更具体的错误原因——比如是不是JAR文件损坏、找不到指定的主类，或者YARN集群无法访问S3的配置问题。

额外提示：确保YARN集群支持S3访问 #

如果你的Spark集群是通过EMR创建的，要确保集群已经配置了hadoop-aws相关依赖，并且正确设置了AWS凭证（通常EMR会自动处理，但如果是自定义集群可能需要手动配置），这样Spark才能正常访问S3资源。

内容的提问来源于stack exchange，提问作者Alegria