Azure HDInsights Spark集群安装TensorFlow后Jupyter会话异常终止求助

针对你遇到的「Jupyter Notebook执行import tensorflow时Spark会话进入dead状态，YARN显示应用被用户终止」的问题，我整理了几个实战性的排查和解决方向：

1. 优先排查Spark资源配置是否充足 #

YARN提示的「确保Spark有足够可用资源」是最常见的诱因，你可以这么操作：

• 在Jupyter Notebook开头添加Spark配置调整代码，给应用分配足够的资源（根据你的集群规模调整数值）：

  %%configure -f
  {"executorMemory": "4G", "executorCores": 2, "numExecutors": 2, "driverMemory": "4G"}
  

• 打开HDInsights的YARN UI（集群门户里可以找到入口），查看集群的可用内存/核心数，确保当前有足够空闲资源分配给新的Spark应用——如果集群已经被其他任务占满，先停止部分非必要的应用再尝试。

2. 验证TensorFlow在所有节点的安装一致性 #

脚本操作安装TensorFlow时，很容易出现「仅主节点安装成功，工作节点未同步安装」的情况，而Spark是分布式运行的，executor节点缺失TensorFlow会直接导致应用崩溃：

• 在Jupyter里运行以下代码，检查所有executor节点是否能正常加载TensorFlow：

  sc.parallelize(range(3)).map(lambda x: __import__('tensorflow').__version__).collect()
  

• 如果返回报错，说明工作节点未安装TensorFlow，重新执行脚本操作时，确保选择「应用到所有节点（主节点+工作节点）」；或者改用HDInsights的conda环境统一管理：创建包含TensorFlow的conda环境，然后配置Jupyter和Spark都使用该环境，避免节点间依赖不一致。

3. 查看Spark应用的详细日志定位根因 #

YARN的诊断信息比较笼统，你需要查看更细节的日志：

• 从YARN UI找到失败的Spark应用，进入Application Master页面，查看stderr日志——这里通常会记录真实的错误原因，比如TensorFlow加载时内存溢出、依赖库版本冲突等。
• 如果是内存溢出导致的应用被终止，进一步调大executor或driver的内存配置；如果是依赖缺失，针对性地在所有节点补装对应的库。

4. 调整Jupyter的Spark上下文启动参数 #

有时候默认的driver内存太小，会导致加载TensorFlow时直接崩溃，你可以在Notebook最开头添加以下代码（必须在创建SparkContext之前执行）：

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--driver-memory 4G pyspark-shell'

内容的提问来源于stack exchange，提问作者Rafael