如何向AWS EMR集群添加自定义JAR函数及解决Livy访问异常

我之前在EMR上搭建Spark+Livy集群时也踩过类似的坑，下面分两部分给你梳理解决方案：

一、排查Livy无法调用自定义JAR的问题 #

你通过自定义JAR步骤提交的JAR，本质是集群启动时执行一次的任务，但Livy启动的Spark会话并不会自动加载这个JAR，常见原因和解决办法如下：

1. 确保JAR被加载到Spark Classpath #

• 方法一：复制到集群本地默认JAR目录
  将自定义JAR复制到所有节点的Spark默认JAR目录（通常为/usr/lib/spark/jars/），然后重启Livy服务：

  # 主节点执行，若要同步到所有节点可使用EMR集群命令工具
  sudo cp /path/to/your-custom.jar /usr/lib/spark/jars/
  sudo systemctl restart livy-server
  

• 方法二：Livy会话启动时显式指定JAR
  在提交Livy会话的请求中，通过jars参数指定JAR路径（支持S3或本地路径），比如用REST API提交：

  POST /batches
  {
    "file": "s3://your-bucket/your-spark-script.py",
    "jars": ["s3://your-bucket/your-custom.jar"],
    "args": []
  }
  

2. 检查权限问题 #

• 如果JAR存放在S3，要确保EMR集群的IAM角色拥有该S3路径的读权限；
• 如果JAR在本地节点，需保证livy用户有读取权限：

  sudo chown livy:livy /path/to/your-custom.jar
  

3. 排查依赖冲突 #

查看日志定位报错：

• Livy日志路径：/var/log/livy/livy-server.log
• Spark任务日志：通过YARN UI（主节点端口8088）查看对应Application的日志
  如果出现ClassNotFoundException或NoClassDefFoundError，大概率是自定义JAR的依赖与EMR自带的Spark/Livy依赖冲突，打包时可将冲突依赖标记为provided scope（比如用Maven/Gradle），避免重复打包。

二、添加自定义JAR中的函数到Spark #

根据需求分为两种场景：

1. 单会话临时注册 #

在你的Spark代码中显式加载JAR并注册函数：

• Scala/Java代码：

  // 加载JAR（若未在Classpath中）
  spark.sparkContext.addJar("s3://your-bucket/your-custom.jar")
  // 导入自定义UDF类
  import com.yourcompany.udfs.MyCustomUDF
  // 注册为SQL可用的函数
  spark.udf.register("my_custom_udf", new MyCustomUDF())
  

• Python代码（调用Java/Scala写的UDF）：

  spark.sparkContext.addJar("s3://your-bucket/your-custom.jar")
  # 注册Java UDF到Spark
  spark.udf.registerJavaFunction("my_custom_udf", "com.yourcompany.udfs.MyCustomUDF")
  

2. 全局永久注册（所有Livy会话自动生效） #

如果想让所有Livy启动的Spark会话都能直接使用自定义函数，修改配置文件：

• 修改Livy配置文件/etc/livy/conf/livy.conf，添加：

  livy.spark.jars=s3://your-bucket/your-custom.jar
  

  然后重启Livy服务：sudo systemctl restart livy-server
• 或者修改Spark全局配置/etc/spark/conf/spark-defaults.conf，添加：

  spark.jars=s3://your-bucket/your-custom.jar
  

  这样所有Spark应用（包括Livy、spark-submit启动的）都会自动加载这个JAR，你可以直接在代码中导入并使用函数。

内容的提问来源于stack exchange，提问作者rabejens