如何修复Cloud TPU INVALID_ARGUMENT未找到GuestAttributes报错

这类TPU节点状态显示为unknown、控制台仅开放删除操作、SSH连接报GuestAttributes空值错误的问题，本质是TPU控制面和节点底层运行态失联，不属于用户侧操作或训练负载引发的可自行排查的软件故障，按以下优先级操作即可：

1. 优先用gcloud命令行执行强制重置，跳过控制台前端限制 #

控制台的启停按钮在节点状态异常时会被前端锁权限，不代表后端API不支持操作，直接执行以下指令：

• 替换命令里的TPU名称、可用区参数，执行强制重置：
  gcloud alpha compute tpus tpu-vm reset <你的TPU节点名> --zone=<TPU所在可用区>
• 等待8-10分钟后，执行查询指令确认状态：
  gcloud alpha compute tpus tpu-vm describe <你的TPU节点名> --zone=<TPU所在可用区>
  如果返回状态变为READY，直接尝试SSH连接即可，GuestAttributes相关报错会在节点服务全量拉起后自动消失。

2. 重置指令报错无响应时，直接提交云厂商运维工单处理 #

如果命令行重置返回权限错误、或者等待后状态依旧是unknown，说明故障出在TPU所在宿主机硬件层、或者底层虚拟化服务异常，用户侧没有操作宿主机的权限，提工单时直接附上以下信息即可，无需做额外无意义的排查：

• TPU节点的完整资源ID、所在可用区
• SSH连接时返回的完整报错文本（包含错误ID 0xdffd54714f63b861）
• 控制台节点状态为unknown、仅支持删除操作的说明
  通常运维侧会在1-2小时内从后端强制拉起节点，或是将节点调度到正常的宿主机上，不需要删除重建。

关键注意事项 #

• 绝对不要第一时间直接删除节点：如果你的训练检查点、数据集存在TPU本地临时盘而非持久化存储，删除操作会直接清空所有本地数据，走运维恢复流程的话本地盘数据绝大多数情况可以完整保留
• 节点恢复正常后第一时间将本地存储的重要数据同步到持久化存储桶/外接持久盘，避免后续再出同类故障导致数据丢失
• 如果运维反馈节点所在硬件彻底损坏无法恢复，再执行删除重建，使用预留配额的用户可以同步申请故障时长的配额补偿

内容的提问来源于stack exchange，提问作者funnyduck32