咨询从边缘节点执行hadoop jar的必备端口及集群内执行方案
CDP集群边缘节点执行Hadoop Jar包的端口与执行节点问题
我在集群外部的边缘节点(已配置集群访问权限)执行hadoop jar ...命令时遇到超时异常:先是随机DataNode及对应端口超时,任务失败后又出现连接NameNode的10020端口超时。由于边缘节点位于集群外部,我们希望尽可能减少开放的端口数量。
目前未找到官方文档说明从边缘节点执行hadoop jar所需开放的端口,同时想了解是否可以让Hadoop在集群内的其他节点上执行该Jar包。
另外,在NameNode上执行hadoop jar命令可正常运行(尚未在DataNode上测试,但预计能正常执行)。
咨询问题
- 从边缘节点执行
hadoop jar需要开放哪些端口,以及对应的相关配置是什么? - 是否可以指定让Hadoop在DataNode上执行该Jar包,以此避免开放额外端口?
备注信息
- 使用的Jar包:Teradata-Hadoop连接器(TDCH)v1.8.4.1
- 集群版本:CDP 7.1.7
- 可正常执行的命令:
hadoop fsspark-submit(集群模式)yarn application
内容的提问来源于stack exchange,提问作者Juh_
相关产品推荐
相关产品推荐

