在YARN集群运行H2O时如何设置主节点内存高于工作节点

结论 #

可以单独设置H2O主节点内存，无需和工作节点内存保持一致。

实现原理 #

你使用的-mapperXmx参数仅作用于YARN集群中启动的H2O工作节点容器的JVM堆内存，你需要调整的主节点（驱动节点）内存，对应提交任务时本地运行的h2odriver进程的JVM堆内存，直接通过Hadoop客户端的环境变量HADOOP_CLIENT_OPTS配置即可。

具体操作 #

运行提交命令前先设置对应环境变量即可，示例如下：

# 配置h2odriver进程堆内存为20GB
export HADOOP_CLIENT_OPTS="-Xmx20g $HADOOP_CLIENT_OPTS"
# 运行原有提交命令，工作节点内存仍为3GB
hadoop jar h2o-hadoop-3/h2o-cdh6.3-assembly/build/libs/h2odriver-3.33.1.jar -nodes 5 -mapperXmx 3g -output my/output/dir/on/hdfs

注意事项 #

• 该环境变量仅对当前会话生效，若需长期配置可写入当前用户的.bashrc或.bash_profile文件
• 主节点运行的机器可用内存需大于20GB，避免进程因内存不足被系统终止

内容的提问来源于stack exchange，提问作者Huy Ngo