嗨，咱们逐个解决你的问题，帮你搞定Spark 2.2和Hadoop 3.1的集成：

1. Spark 2.2能否手动集成Hadoop 3.1？ #

当然可以！虽然Spark 2.2官方默认适配的是Hadoop 2.6-2.7版本，但手动集成Hadoop 3.1完全可行。不过要注意，Hadoop 3.x引入了部分API变化，Spark的一些高级生态交互功能可能需要微调，但核心的RDD、DataFrame操作以及HDFS读写等基础功能都能正常运行。

2. 带Hadoop的Spark安装包中是否包含Hadoop目录？ #

是的！如果你下载的是带Hadoop的Spark包（比如命名类似spark-2.2.0-bin-hadoop2.7.tgz），解压后在Spark根目录下会看到一个hadoop子目录。不过这个目录里的Hadoop是精简版依赖集合，不是完整的Hadoop集群安装包——它只包含Spark运行所需的Hadoop相关jar包和基础配置，无法用来搭建独立的Hadoop集群。

3. 无Hadoop版Spark 2.2配置Hadoop 3.1.0的正确步骤 #

你之前配置后不生效，大概率是漏了关键步骤，咱们一步步来：

前置检查 #

先确认你的Hadoop 3.1.0已经独立安装并正常运行：

• 执行hdfs dfs -ls /，如果能正常返回HDFS根目录内容，说明Hadoop本身没问题。

配置Spark环境变量 #

1. 重命名配置模板文件：
   Spark默认的配置模板是spark-env.sh.template，必须先重命名为spark-env.sh（去掉.template后缀），否则Spark不会加载这个文件。执行命令：

   cd $SPARK_HOME/conf
   cp spark-env.sh.template spark-env.sh
   

2. 添加核心环境变量：
   编辑spark-env.sh，添加以下内容（替换为你的实际安装路径）：

   # 设置Hadoop安装根目录
   export HADOOP_HOME=/your/real/path/to/hadoop-3.1.0
   # 设置Hadoop配置文件目录（Spark需要读取core-site.xml、hdfs-site.xml等）
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   # 关键：将Hadoop的classpath注入Spark分布式classpath
   export SPARK_DIST_CLASSPATH=$(hadoop classpath)
   

   这里的SPARK_DIST_CLASSPATH是核心——它会让Spark加载Hadoop 3.1的依赖包，而非默认的旧版本依赖，很多人就是漏了这一步导致配置不生效。

3. 验证配置是否生效：
   启动Spark Shell，执行以下Scala代码：

   sc.hadoopConfiguration.get("fs.defaultFS")
   

   如果返回你在Hadoopcore-site.xml中配置的NameNode地址（比如hdfs://localhost:9000），说明配置已经生效。

额外注意事项 #

如果遇到依赖冲突（比如Spark自带的旧Hadoop jar包和Hadoop 3.1的jar包版本不一致），可以：

• 进入$SPARK_HOME/jars目录，删除所有hadoop-*.jar文件；
• 从$HADOOP_HOME/share/hadoop目录下复制对应模块的jar包到$SPARK_HOME/jars中（比如hadoop-common、hadoop-hdfs、hadoop-client等模块的jar）。

或者在启动Spark时，通过--jars参数指定Hadoop 3.1的jar包路径，避免全局替换。

内容的提问来源于stack exchange，提问作者griez007