选择内部IP无SSH访问创建Dataproc HUB实例所需额外配置咨询
无外部IP、禁用SSH场景下Dataproc Hub实例创建的额外配置调整
网络配置调整
- 首先为实例所属的VPC子网开启Private Google Access(私有Google访问),无公网IP的实例需要通过该能力访问GCP各类服务端点,若使用共享VPC需要在宿主项目的对应子网完成该配置。
- 配置VPC的私有服务访问连接,打通Dataproc Hub托管控制平面和本地VPC的内网通信链路,避免所有控制面流量走公网。
- 确保内网DNS服务可正常解析GCP私有API域名,避免服务访问失败。
- 配置VPC防火墙规则:仅允许内网指定IP段访问实例的8080端口(Notebook服务默认端口),拒绝所有公网来源的访问请求。
IAM权限配置调整
- 为Dataproc Hub服务账号、实例运行时服务账号分配最低必要权限,包含
roles/dataproc.hubInstanceUser、roles/dataproc.worker、roles/storage.objectViewer(用于拉取官方镜像)即可,无需分配公网访问相关角色。 - 回收所有账号的
compute.instances.osLogin、compute.sshKeys相关权限,完全关闭SSH访问的权限入口。
实例创建参数配置调整
- 创建实例的网络配置项中,明确勾选仅分配内部IP,取消外部IP分配选项,同时关闭SSH访问开关,Dataproc Hub本身不依赖SSH即可提供Notebook访问能力。
- 配置容器镜像拉取规则为走GCP内网端点,你使用的
dataproc-container-v20210802-debian-10官方镜像已预置内网访问所需的所有依赖组件,无需额外修改镜像内容,走内网即可正常拉取。 - 配置Notebook访问方式为内网IAM验证访问,仅允许同一内网下通过身份校验的用户访问实例,不对外暴露公网访问端点。
- 若Notebook需要关联后端Dataproc集群运行作业,对应的Dataproc集群也需要配置为仅分配内部IP,和实例放在同一VPC或已打通的内网VPC下。
依赖服务适配调整
- 若Notebook运行过程中需要访问BigQuery、Cloud Storage等其他GCP服务,统一走对应服务的私有端点访问,避免产生公网流量。
- 若需使用自定义Python/R依赖包,建议在内网搭建私有包源服务器,配置实例从内网源拉取依赖,不要走公网的PyPI、CRAN等公共包源。
内容的提问来源于stack exchange,提问作者Yogesh Gaikar
相关产品推荐
相关产品推荐

