如何将Hadoop凭证提供程序路径传入Map Reduce任务？

我之前也碰到过一模一样的问题——直接在Mapper/Reducer代码里设置fs.s3a.security.credential.provider.path完全不生效，后来才搞清楚是配置传递的逻辑问题，下面给你梳理几个可行的解决办法：

1. 先确保HDFS上的JCEKS文件权限正确 #

首先要保证集群所有Task节点都能访问到HDFS上的凭证文件，否则配置再对也白搭：

# 修改文件权限，让所有节点拥有可读权限
hdfs dfs -chmod 644 /foo/bar/s3.jceks
# 确认路径全局可访问
hdfs dfs -ls /foo/bar/s3.jceks

2. 在Job提交阶段传递配置（推荐方案） #

不要在Mapper/Reducer的业务代码里设置这个配置，而是在提交Job的客户端代码里初始化Configuration时就配置好，这样配置会被自动分发到所有Task节点：

public class YourS3WritingJob extends Configured implements Tool {
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        // 在这里设置凭证提供器路径，确保Job提交时就把配置带上
        conf.set("fs.s3a.security.credential.provider.path", "jceks://hdfs/foo/bar/s3.jceks");
        
        Job job = Job.getInstance(conf, "S3 Data Writing Job");
        job.setJarByClass(YourS3WritingJob.class);
        // 配置Mapper、Reducer、输出路径等其他Job参数...
        
        return job.waitForCompletion(true) ? 0 : 1;
    }

    public static void main(String[] args) throws Exception {
        int exitCode = ToolRunner.run(new YourS3WritingJob(), args);
        System.exit(exitCode);
    }
}

3. 通过命令行参数传递配置 #

和你用distcp的方式完全一致，在提交Job时通过-D参数直接指定，这种方式不需要修改代码，灵活度很高：

hadoop jar your-job-jar-file.jar com.your.package.YourS3WritingJob \
  -Dfs.s3a.security.credential.provider.path=jceks://hdfs/foo/bar/s3.jceks \
  [你的其他Job参数]

4. 验证配置是否正确传递 #

如果还是有问题，可以在Mapper/Reducer里打印当前配置，确认Task节点是否拿到了正确的路径：

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    Configuration conf = context.getConfiguration();
    // 把配置值打印到Task日志，方便排查
    System.out.println("S3 Credential Provider Path: " + conf.get("fs.s3a.security.credential.provider.path"));
    // 你的业务逻辑代码...
}

之后可以通过YARN的Task日志查看这个输出，确认配置是否真正传递到了Task节点。

额外注意事项 #

• 确保你的Hadoop版本在2.8及以上，旧版本的S3A客户端对凭证提供器的支持可能存在兼容性问题。
• 始终保持JCEKS文件的权限安全，比如只有提交Job的用户能修改，避免凭证泄露。

内容的提问来源于stack exchange，提问作者Sergey