如何在AWS SageMaker Studio Lab中运行PySpark代码？

步骤1：安装Java与PySpark #

SageMaker Studio Lab的默认内核未预装Java，先通过以下命令安装OpenJDK 11和PySpark：

!sudo apt-get update && sudo apt-get install -y openjdk-11-jdk
!pip install pyspark

步骤2：配置JAVA_HOME环境变量 #

安装完成后，先确认Java安装路径：

!update-alternatives --list java

通常输出为/usr/lib/jvm/java-11-openjdk-amd64/bin/java，提取路径前缀（去掉/bin/java），在Python中设置环境变量：

import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-11-openjdk-amd64"

步骤3：创建并验证PySpark会话 #

运行你原来的代码即可创建SparkSession，可添加版本验证确保环境正常：

import pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local") \
    .appName("My ML Application") \
    .config("fs.s3a.endpoint", "s3.amazonaws.com") \
    .getOrCreate()

# 验证环境
print(f"PySpark版本: {spark.version}")

注意事项 #

• 每次重启内核后，需要重新执行设置JAVA_HOME的代码
• 若sagemaker-distribution内核仍有问题，重复上述步骤即可完成配置

内容的提问来源于stack exchange，提问作者user3276159