关于通过Java Jar访问EMR本地文件及S3文件迁移的技术咨询

嘿，刚好之前在EMR上处理过类似的场景，给你详细梳理下解决方案：

其实这个操作和在普通Linux服务器上用Java访问本地文件没太大区别，核心是要确保你的Jar和目标文件在同一个EMR节点上，然后用标准Java IO/NIO API就行：

• 首先，你的Jar得运行在存储了目标文件的EMR节点上（主节点、核心节点或者任务节点都可以，只要文件在这台机器上）。
• 在Java代码里直接写本地路径就行，比如：

  // 用File类访问
  File localFile = new File("/mnt/emr/local-data/your-file.txt");
  // 或者用NIO的方式
  byte[] fileContent = Files.readAllBytes(Paths.get("/mnt/emr/local-data/your-file.txt"));
  

• 要注意两个坑：
  • 运行Jar的用户（比如默认的hadoop或ec2-user）必须有目标文件的读写权限，不然会抛出PermissionDeniedException，可以用chmod命令调整权限。
  • 如果是通过YARN提交Jar作为分布式任务，每个Task可能跑在不同节点上，这时候要确保文件在所有Task节点都存在，或者把任务指定到特定节点运行。

当然可以，这是EMR上非常常用的操作，毕竟S3是对象存储，本地文件IO的延迟会低很多。下面分两部分说：

复制S3文件到EMR本地的方法 #

有两种常用方式，看你的场景选：

• 命令行手动复制：登录到EMR节点后，用AWS CLI的s3 cp命令直接拉取，比如：

  aws s3 cp s3://your-bucket-name/data/input-file.csv /mnt/emr/local-storage/
  

  这种方式下，文件会被复制到你当前操作的节点上。
• Java代码内自动下载：用AWS SDK for Java在Jar运行时直接把S3文件下载到当前节点的本地路径，示例代码：

  import software.amazon.awssdk.regions.Region;
  import software.amazon.awssdk.services.s3.S3Client;
  import software.amazon.awssdk.services.s3.model.GetObjectRequest;
  import java.nio.file.Paths;
  
  public class S3ToLocal {
      public static void main(String[] args) {
          Region region = Region.US_EAST_1;
          try (S3Client s3Client = S3Client.builder().region(region).build()) {
              GetObjectRequest request = GetObjectRequest.builder()
                      .bucket("your-bucket-name")
                      .key("data/input-file.csv")
                      .build();
              // 下载到本地路径
              s3Client.getObject(request, Paths.get("/mnt/emr/local-storage/input-file.csv"));
          }
      }
  }
  

  这种方式下，文件会被下载到运行这段代码的节点本地，完美保证和Jar在同一节点。

如何确定文件所在的EMR节点 #

不同的复制方式，确定节点的方法也不一样：

• 命令行复制的情况：你当前登录的节点就是文件所在节点，直接执行hostname命令查看主机名，或者用curl http://169.254.169.254/latest/meta-data/local-ipv4获取私有IP，然后去EMR控制台的“集群节点”列表里对应查找就行。
• Java代码内下载的情况：在代码里直接打印当前节点的信息，比如：

  import java.net.InetAddress;
  
  public class NodeInfo {
      public static void main(String[] args) throws Exception {
          // 获取节点主机名
          String hostname = InetAddress.getLocalHost().getHostName();
          // 获取节点私有IP
          String privateIp = InetAddress.getLocalHost().getHostAddress();
          System.out.println("当前节点主机名：" + hostname);
          System.out.println("当前节点私有IP：" + privateIp);
      }
  }
  

  运行Jar后看日志，就能知道文件存在哪个节点了。
• 通过EMR步骤（Step）执行复制的情况：如果是主节点步骤，文件就在主节点；如果是分布式步骤，要看任务的执行节点，你可以在EMR控制台的“步骤”页面查看任务日志，里面会有每个Task所在的节点信息。

另外补充个小技巧：如果你的Jar需要固定和文件在同一节点，最好用EMR引导动作，在节点启动时自动从S3下载文件到本地，这样所有节点都会提前准备好文件，不管Jar跑在哪个节点都能访问到。

内容的提问来源于stack exchange，提问作者Developer