基于Hadoop 3.1.1集群的PySpark部署模式及安装问题咨询

1. 是否可以以Standalone模式安装Spark？ #

完全可以。Spark的Standalone模式是它自带的集群管理器，不需要依赖Hadoop的YARN就能独立运行Spark任务。这种模式下Spark依然可以正常访问HDFS读取文件，完全满足你用PySpark做ETL并写入MySQL的需求。

2. 是否需要先在YARN上安装Spark？ #

不需要。Spark支持多种集群管理方案，YARN只是其中一种（依托Hadoop的资源管理系统），并非必须选项。如果你的核心需求是读取HDFS数据、执行PySpark ETL、写入MySQL，选择Standalone模式完全可行，无需依赖YARN。

3. 单独安装Standalone模式Spark的步骤 #

针对你的Hadoop 3.1.1多节点集群，以下是具体安装配置步骤：

前置条件 #

• 所有节点已安装Java 8+（Spark 3.x对Java 8兼容性最好，Hadoop 3.1.1也适配Java 8）
• 节点间已配置SSH免密登录
• Hadoop集群正常运行，确保所有节点能访问HDFS

具体操作 #

1. 下载兼容版本的Spark
   选择与Hadoop 3.1.1兼容的Spark版本，比如Spark 3.0.3（推荐下载带Hadoop依赖的二进制包，例如spark-3.0.3-bin-hadoop3.2.tgz，Hadoop 3.1.1与3.2版本兼容）。

2. 主节点解压与配置
   在主节点执行以下命令解压到指定目录：

tar -zxvf spark-3.0.3-bin-hadoop3.2.tgz -C /opt/
mv /opt/spark-3.0.3-bin-hadoop3.2 /opt/spark

配置环境变量（编辑~/.bashrc或/etc/profile）：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行source ~/.bashrc使配置生效。

3. 配置Spark集群参数
   进入Spark配置目录：

cd $SPARK_HOME/conf

• 复制并编辑spark-env.sh：

  cp spark-env.sh.template spark-env.sh
  vi spark-env.sh
  

  添加以下配置（根据你的集群实际情况修改）：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # 替换为你的Java安装路径
  export SPARK_MASTER_HOST=your-master-ip # 主节点IP或主机名
  export SPARK_WORKER_MEMORY=4g # 每个Worker节点分配的内存，按需调整
  export SPARK_WORKER_CORES=2 # 每个Worker节点分配的CPU核心数，按需调整
  export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop # 指定Hadoop配置目录，让Spark能访问HDFS
  

• 复制并编辑slaves文件：

  cp slaves.template slaves
  vi slaves
  

  添加所有Worker节点的主机名或IP，每行一个：

  worker-node-1
  worker-node-2
  # 按需添加更多Worker节点
  

4. 分发Spark到所有Worker节点
   将主节点的Spark目录复制到每个Worker节点的相同路径：

scp -r /opt/spark worker-node-1:/opt/
scp -r /opt/spark worker-node-2:/opt/

同时将环境变量配置同步到所有Worker节点，或在每个Worker节点手动配置相同的环境变量。

5. 启动与验证Spark集群
   在主节点执行启动命令：

start-all.sh

打开浏览器访问http://your-master-ip:8080，能看到Spark集群的节点状态、资源使用情况，说明启动成功。

6. 测试PySpark与HDFS的连接
   执行pyspark进入交互式环境，运行以下命令测试读取HDFS文件：

df = spark.read.text("hdfs://your-master-ip:9000/path/to/your/hdfs/file")
df.show()

如果能正常输出文件内容，说明配置成功，之后就可以编写PySpark ETL代码读取HDFS数据并写入MySQL了。

内容的提问来源于stack exchange，提问作者Salva