如何获取Databricks集群IP地址以连接SFTP服务器

方法1：通过集群UI查看驱动节点IP #

• 登录Databricks工作区，进入集群页面
• 点击目标集群名称进入详情页
• 在驱动标签下，找到公共IP字段，该值即为驱动节点的公网IP

方法2：通过Notebook代码获取节点IP #

获取驱动节点IP #

在Notebook中运行以下Python代码：

import socket
print("驱动节点IP:", socket.gethostbyname(socket.gethostname()))

获取执行节点IP #

执行节点IP可能随集群伸缩变化，可通过Spark分布式任务获取当前所有执行节点的唯一IP：

def get_executor_ip():
    import socket
    return socket.gethostbyname(socket.gethostname())

executor_ips = sc.parallelize(range(10)).map(lambda x: get_executor_ip()).distinct().collect()
print("执行节点IP列表:", executor_ips)

提示：如果集群开启自动伸缩，需将所有可能的执行节点IP段或当前全部IP提供给SFTP管理员

方法3：获取VPC场景下的出站公网IP #

若集群部署在云厂商VPC内且通过NAT网关出站，SFTP服务器识别的是NAT网关的IP：

• 联系云平台管理员获取集群所在VPC对应的NAT网关公网IP
• 或在Notebook中运行Shell命令直接获取出站IP：

%sh curl ifconfig.me

内容的提问来源于stack exchange，提问作者Patterson