EMR集群S3中Livy日志位置及PySpark自定义环境报错排查

• 场景：通过AWS SageMaker经Livy连接EMR集群，默认会话配置下连接、Spark Context运行均正常
• 新增如下配置后会话创建失败：

"spark.pyspark.python": "./ANACONDA/env_name/bin/python3",
"spark.yarn.dist.archives": "s3://<path>/env_name.tar.gz#ANACONDA"

• 抛出错误：

Neither SparkSession nor HiveContext/SqlContext is available

• 移除spark.pyspark.python配置项后，虽然executor侧分发tar.gz包耗时较长，但可正常创建会话与Spark Context，仅无法使用压缩包内打包的Conda环境，初步判断问题与该配置项相关。
• 排查卡点：需查看Livy日志定位根因，已知日志存储在S3但无法定位具体路径。

• 日志根路径为创建EMR集群时指定的S3日志存储前缀，格式为s3://<自定义EMR日志桶>/<目标集群ID>/
• Livy服务端日志路径：进入上述根路径后，依次打开node/<Livy服务所在主节点实例ID>/daemons/目录，其中livy-server.log、livy-server.out记录了Livy服务全量运行日志，包含所有会话创建流程的完整报错栈
• 失败会话关联的Spark驱动日志路径：进入根路径后打开jars/<失败会话对应的YARN Application ID>/目录，其中stderr、stdout文件记录了PySpark启动阶段的Python环境加载错误，是定位该类路径问题的核心日志
• 快速查找技巧：先在EMR控制台找到失败Livy会话对应的YARN Application ID，直接在S3日志桶内搜索该ID，即可快速定位到对应日志目录，无需逐层遍历节点路径。如果集群开启了YARN日志聚合，也可以直接在EMR控制台的YARN应用详情页跳转查看对应S3日志。

该类报错本质是Spark驱动侧启动时无法加载指定的Python解释器，导致上下文初始化失败，可按以下顺序排查：

1. 补全Python路径相关配置
   当前仅配置了executor侧的PySpark Python路径，未指定驱动侧路径，而Spark在YARN容器内启动驱动进程时的工作目录和executor存在差异，会直接导致驱动侧找不到Python解释器。补充配置如下：

"spark.pyspark.python": "./ANACONDA/env_name/bin/python3",
"spark.pyspark.driver.python": "./ANACONDA/env_name/bin/python3",
"spark.yarn.dist.archives": "s3://<path>/env_name.tar.gz#ANACONDA",
"spark.yarn.appMasterEnv.PYSPARK_PYTHON": "./ANACONDA/env_name/bin/python3"

2. 校验Conda压缩包结构
   如果补全配置后仍报错，需要检查打包的env_name.tar.gz是否存在结构问题：解压后必须直接存在ANACONDA/env_name/bin/python3路径，不能出现多层嵌套（比如解压后实际路径为ANACONDA/env_name/env_name/bin/python3就会触发路径找不到错误）。可以先在EMR主节点本地手动解压压缩包，直接执行./ANACONDA/env_name/bin/python3 -V，确认解释器可正常启动、无缺失依赖。
3. 调整会话超时阈值
   如果Conda包体积较大，驱动侧解压环境、加载依赖耗时过长，会触发Livy默认的会话启动超时阈值，导致上下文未就绪就被判定为创建失败。可以新增配置调整超时时间：

"livy.server.session.timeout": "3600s"

给环境分发、解压预留足够时间。

内容的提问来源于stack exchange，提问作者Luis Leal