无法在SageMaker笔记本实例本地运行PySpark，缺失conda_python3内核

一、缺失conda_python2/conda_python3内核的处理 #

Data Science 3.0这类较新的SageMaker镜像不再默认提供这两个旧内核，你可以手动创建并注册：

• 打开笔记本终端，创建conda环境（以Python 3为例）：

  conda create -n conda_python3 python=3.8 ipykernel -y
  

• 激活环境并注册到Jupyter内核列表：

  conda activate conda_python3
  python -m ipykernel install --user --name conda_python3 --display-name "conda_python3"
  

• 重启Jupyter服务器后，就能在新建笔记本的内核选项里找到conda_python3。

二、本地Spark的Java Home配置 #

要在SageMaker笔记本本地运行Spark（无需连接EMR），必须手动安装Java并配置环境变量：

• 安装兼容Spark的OpenJDK 1.8版本：

  sudo yum install -y java-1.8.0-openjdk-devel
  

• 编辑~/.bashrc文件添加环境变量：

  echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> ~/.bashrc
  echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc
  

• 使配置生效并验证：

  source ~/.bashrc
  java -version
  echo $JAVA_HOME
  

• 完成上述步骤后，再按照文档初始化Spark上下文即可正常运行。

内容的提问来源于stack exchange，提问作者nww