创建3节点Hadoop集群

要创建一个3节点的Hadoop集群，你需要按照以下步骤进行操作：

1. 配置每个节点的主机名和IP地址。

   • 将每个节点的主机名和IP地址写入 /etc/hosts 文件中，例如：

   192.168.1.101  node1
   192.168.1.102  node2
   192.168.1.103  node3
   

2. 配置SSH免密码登录。

   • 在每个节点上生成SSH密钥对，并将公钥复制到其他节点上，以便实现节点之间的免密码登录。

3. 安装Java和Hadoop。

   • 在每个节点上安装Java和Hadoop软件包。你可以从官方网站下载二进制包，然后解压到一个目录中。

4. 配置Hadoop集群。

   • 在每个节点上编辑Hadoop的配置文件，主要包括 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml。
   • 在 core-site.xml 文件中配置Hadoop的基本属性，例如：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://node1:9000</value>
     </property>
   </configuration>
   

   • 在 hdfs-site.xml 中配置HDFS的属性，例如：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>3</value>
     </property>
   </configuration>
   

   • 在 mapred-site.xml 中配置MapReduce的属性，例如：

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>
   

   • 在 yarn-site.xml 中配置YARN的属性，例如：

   <configuration>
     <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>node1</value>
     </property>
   </configuration>
   

5. 配置Hadoop环境变量。

   • 在每个节点的 .bashrc 文件中添加Hadoop的环境变量，例如：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin
   

6. 格式化HDFS。

   • 在一个节点上执行以下命令，格式化HDFS：

   $ hdfs namenode -format
   

7. 启动Hadoop集群。

   • 在一个节点上执行以下命令，启动Hadoop集群：

   $ start-dfs.sh
   $ start-yarn.sh
   

现在，你已经成功创建了一个3节点的Hadoop集群。

注意：上述步骤中的配置文件示例仅供参考，你需要根据实际情况进行相应的配置。