如何在HADOOP_CONF_DIR中指定集群位置？Spark文档相关疑问求解

我来帮你梳理清楚这个问题——其实YARN集群的位置信息就藏在你/etc/hadoop目录下的几个核心配置文件里，咱们一步步拆解：

你的HADOOP_CONF_DIR下的两类配置文件直接定义了集群的访问地址：

• yarn-site.xml：这是YARN的核心配置文件，里面的两个关键参数是Spark客户端连接集群的核心依据：
  • yarn.resourcemanager.address：ResourceManager的主服务地址（默认端口8032），Spark提交作业时就是通过这个地址和YARN集群建立连接的
  • yarn.resourcemanager.webapp.address：ResourceManager的Web UI地址（默认端口8088），用来查看集群状态、作业运行情况等
• core-site.xml：里面的fs.defaultFS参数定义了HDFS的默认文件系统地址（默认端口9000），Spark作业的依赖包、运行日志等数据都会存在这个HDFS集群上，间接关联到集群的存储节点位置

如果需要手动指定或修改集群位置，直接编辑对应的配置文件即可：

1. 编辑yarn-site.xml，添加或修改以下配置项（如果原有配置存在，直接替换value值即可）：

   <property>
       <name>yarn.resourcemanager.address</name>
       <value>your-rm-hostname:8032</value> <!-- 替换为你的ResourceManager主机名/IP和端口 -->
   </property>
   <property>
       <name>yarn.resourcemanager.webapp.address</name>
       <value>your-rm-hostname:8088</value> <!-- 替换为你的ResourceManager Web UI地址 -->
   </property>
   

2. 编辑core-site.xml，确保fs.defaultFS指向你的HDFS集群地址：

   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://your-nn-hostname:9000</value> <!-- 替换为你的NameNode主机名/IP和端口 -->
   </property>
   

3. 保存配置后，无需重启任何服务（客户端环境只要HADOOP_CONF_DIR指向这个目录，下次提交Spark作业时就会自动读取新配置）

可以用几个简单命令确认客户端是否能正确识别集群：

• 用Hadoop自带命令查看YARN节点列表：

  yarn node -list
  

  如果能正常返回集群中的节点信息，说明客户端已经成功识别到YARN集群位置
• 提交一个Spark测试作业验证：

  spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client $SPARK_HOME/examples/jars/spark-examples*.jar 10
  

  如果作业能正常运行并输出Pi的近似值，就说明整个集群位置配置完全没问题

内容的提问来源于stack exchange，提问作者Michael