You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

咨询从边缘节点执行hadoop jar的必备端口及集群内执行方案

CDP集群边缘节点执行Hadoop Jar包的端口与执行节点问题

我在集群外部的边缘节点(已配置集群访问权限)执行hadoop jar ...命令时遇到超时异常:先是随机DataNode及对应端口超时,任务失败后又出现连接NameNode的10020端口超时。由于边缘节点位于集群外部,我们希望尽可能减少开放的端口数量。

目前未找到官方文档说明从边缘节点执行hadoop jar所需开放的端口,同时想了解是否可以让Hadoop在集群内的其他节点上执行该Jar包。

另外,在NameNode上执行hadoop jar命令可正常运行(尚未在DataNode上测试,但预计能正常执行)。

咨询问题

  1. 从边缘节点执行hadoop jar需要开放哪些端口,以及对应的相关配置是什么?
  2. 是否可以指定让Hadoop在DataNode上执行该Jar包,以此避免开放额外端口?

备注信息

  • 使用的Jar包:Teradata-Hadoop连接器(TDCH)v1.8.4.1
  • 集群版本:CDP 7.1.7
  • 可正常执行的命令:
    • hadoop fs
    • spark-submit(集群模式)
    • yarn application

内容的提问来源于stack exchange,提问作者Juh_

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.21 12:17:41