TRC老账户GCP环境下TPU连接失败的排查与解决求助

核心原因推测 #

由于新TRC账户可正常访问同配置TPU，老账户仅能创建但无法初始化，且TPU状态显示READY/HEALTHY，问题大概率集中在老账户的GCP权限、网络或资源配置遗留异常，而非TPU硬件或代码逻辑问题。

排查步骤 #

1. 核查账户TPU配额与资源限制 #

• 登录GCP控制台，进入「IAM与管理 > 配额」，搜索“TPU v3-8”相关配额项，确认抢占式/非抢占式配额是否充足，是否存在超限记录
• 检查TRC项目资源分配历史，确认账户是否有新增的资源级别限制

2. 验证VM与TPU的网络连通性 #

• 在运行脚本的VM上，ping TPU内网IP（可从GCP控制台TPU详情页获取），确认基础网络可达
• 测试TPU的GRPC端口连通性：telnet <TPU_IP> 8470，若无法连接，说明防火墙或VPC配置阻断了流量
• 核查VM所在VPC与TRC默认VPC的peering状态，确认是否存在配置失效；同时检查防火墙规则，确保允许VM到TPU的TCP 8470/8471端口流量

3. 检查服务账号权限配置 #

• 查看VM使用的服务账号，确认其拥有roles/tpu.user或roles/tpu.admin角色
• 验证TPU关联的默认服务账号（格式为service-<项目编号>@cloud-tpu.iam.gserviceaccount.com）是否具备roles/compute.networkUser权限，确保网络资源访问正常

4. 排除环境版本兼容性问题 #

• 对比新老账户的TensorFlow版本、依赖包版本，确保完全一致
• 尝试在老账户VM上重新安装TPU兼容的TensorFlow版本

解决方法 #

配额/资源限制问题 #

• 若配额不足，提交TRC配额提升申请；若存在闲置TPU资源，先清理再重新创建
• 删除现有异常TPU节点，重新选择TRC指定的项目与区域创建新节点

网络配置问题 #

• 在GCP控制台「VPC网络 > 防火墙规则」中，新增规则：允许VM所在子网到TPU子网的TCP 8470/8471端口流量
• 若使用自定义VPC，确认与TRC项目VPC的peering连接处于正常激活状态

服务账号权限问题 #

• 给VM服务账号添加TPU User角色：GCP控制台 > IAM > 找到对应服务账号 > 编辑 > 添加角色 > 搜索“TPU User”并保存
• 确认TPU默认服务账号的Compute Network User角色未被移除

环境修复 #

• 完全卸载现有TensorFlow后，重新安装与新账户一致的版本：

pip uninstall -y tensorflow
pip install tensorflow==2.10.0 # 替换为实际正常版本
pip install tensorflow[tpu]

内容的提问来源于stack exchange，提问作者darklordofsoftware