HA架构下运行Hadoop Namenode的服务器如何安全升级操作系统

现有方案潜在风险 #

• JournalNode Quorum不可用风险：默认JournalNode（JN）需要奇数个节点，法定投票数为(总节点数/2)+1。若你仅在两台NameNode节点部署JN，关停任意一台后仅剩1个存活JN，无法满足法定投票要求，会直接导致HDFS元数据无法写入，整个集群进入只读状态，业务侧写入操作全部失败。
• 环境依赖不兼容问题：CentOS 6到CentOS 7属于跨大版本升级，系统默认组件差异极大：包括默认JDK版本、防火墙机制（iptables切换为firewalld）、服务管理机制（initd切换为systemd）、ulimit/sysctl默认配置等。如果升级后没有对齐原有Hadoop运行的环境配置，会出现进程启动失败、节点间网络不通、进程权限异常等问题。
• 主备切换数据一致性风险：备用节点升级完成启动后，如果没有验证NameNode元数据同步状态、ResourceManager状态同步状态就直接执行切换，可能出现元数据缺失、服务脑裂的问题，严重时会导致元数据损坏。
• 未考虑业务侧影响：手动执行failover切换主备时，会存在数秒到数十秒的服务不可用窗口，如果没有选择业务低峰期操作，会导致正在运行的生产任务失败、业务侧接口报错。

优化操作方案 #

前置准备步骤 #

1. 提前备份核心元数据：在主NameNode执行hdfs dfsadmin -saveNamespace生成最新的fsimage，将fsimage、editlog全部备份到集群外的独立存储。
2. 补足JN法定节点：如果当前仅部署2个JN，临时找一台闲置的DataNode节点部署第三个JN，凑成3节点JN集群，保证关停任意一台JN后，剩余2个节点仍能满足法定投票要求，操作全程集群可正常读写。
3. 导出环境配置清单：提前导出两台NameNode节点的所有运行时配置：JDK版本及环境变量、Hadoop目录权限、ulimit配置、sysctl配置、防火墙规则、hostname/hosts配置，作为升级后OS的配置对齐标准。

正式操作流程 #

1. 验证备用节点健康状态：执行hdfs haadmin -checkHealth <备用NN ID>、yarn rmadmin -checkHealth <备用RM ID>，确认备用节点所有进程状态正常，和主节点数据同步完成。
2. 关停备用节点所有Hadoop守护进程，关停后通过hdfs haadmin -getAllServiceState、yarn rmadmin -getAllServiceState确认主节点仍保持Active状态，集群服务正常。
3. 执行备用节点CentOS 6到7的升级，升级完成后对照前置准备的配置清单，对齐所有系统配置，确保Hadoop运行依赖的环境和升级前完全一致。
4. 启动备用节点所有Hadoop守护进程，启动后验证：NameNode处于Standby状态且元数据和主节点同步正常、JournalNode成功加入集群Quorum、ResourceManager处于Standby状态、ZKFC状态正常。
5. 选择业务低峰期执行主备切换：执行hdfs haadmin -failover <原主NN ID> <升级后备用NN ID>，切换完成后验证HDFS读写正常、YARN任务可正常提交运行，确认所有业务无异常。
6. 对现在处于Standby状态的原主节点，重复上述2-4步骤完成系统升级，启动后验证所有服务状态正常。
7. 所有节点升级完成后，如果之前临时部署了第三个JN，可正常下线临时JN节点，恢复原有部署架构。

内容的提问来源于stack exchange，提问作者hoon