无法启动Dataproc Serverless批处理:网络未找到,求正确网络配置方法
Dataproc Serverless for Spark 新手网络配置指南
先确认默认网络状态
登录GCP控制台,进入「VPC网络」>「VPC网络」页面,查看是否存在default网络。如果确实缺失,直接创建一个默认配置的VPC——GCP会自动生成对应子网。指定作业的网络参数
提交Spark作业时,必须通过--subnet参数指定子网,格式为projects/[你的项目ID]/regions/[作业区域]/subnetworks/[子网名称]。如果用默认网络,对应的子网通常就是default,示例命令:gcloud dataproc batches submit spark \ --project=my-project \ --region=us-central1 \ --subnet=projects/my-project/regions/us-central1/subnetworks/default \ --jar=gs://my-bucket/my-job.jar同时要保证子网满足两个核心要求:
- 开启私有Google访问,让作业无需公网IP就能访问GCP服务
- 子网IP范围预留足够可用地址,因为单个Spark作业会占用多个IP资源
权限验证
确保你的账号拥有compute.subnetworks.use权限,否则会出现无法选择子网的权限错误。
内容的提问来源于stack exchange,提问作者Katherine Chen
相关产品推荐
相关产品推荐

