Vertex AI自定义FastAPI/UVicorn容器预测502超时问题求助

• Vertex AI端点内置超时限制：Vertex AI在线预测端点默认有60秒的预测超时阈值，即便你调高了客户端超时，一旦请求处理时长超过端点的超时设置，Vertex会主动断开连接返回502，但容器内的预测任务仍会继续执行（这和你观察到的「实际任务完成却收到502」的情况完全匹配）。
• Uvicorn服务超时配置不足：Uvicorn默认的连接保持超时、优雅关闭超时通常远短于长时预测所需时长，会导致Uvicorn主动断开与Vertex代理的连接，触发502错误。
• 客户端与端点超时不匹配：仅调高客户端超时但未同步更新端点超时的话，Vertex仍会在自身超时阈值后返回502，客户端的长超时设置无法生效。

1. 更新Vertex AI端点的预测超时 #

在创建或更新端点时，将prediction_timeout设置为符合需求的最大值（上限为3600秒/1小时）：

Python客户端示例： #

from google.cloud import aiplatform

# 替换为你的项目、区域、端点ID
endpoint = aiplatform.Endpoint("projects/your-project/locations/us-central1/endpoints/your-endpoint-id")
# 设置超时为3600秒（1小时）
endpoint.update(prediction_timeout=3600)

Node.js客户端示例： #

const { EndpointServiceClient } = require('@google-cloud/aiplatform').v1;
const client = new EndpointServiceClient();

async function updateEndpointTimeout() {
  const request = {
    endpoint: 'projects/your-project/locations/us-central1/endpoints/your-endpoint-id',
    updateEndpointRequest: {
      endpoint: { predictionTimeout: { seconds: 3600 } },
      updateMask: { paths: ['prediction_timeout'] }
    }
  };
  const [response] = await client.updateEndpoint(request);
  console.log('Endpoint updated:', response);
}
updateEndpointTimeout();

2. 调整Uvicorn的超时参数 #

启动Uvicorn时，显式设置足够长的连接保持超时和优雅关闭超时，避免服务主动断开连接：

命令行启动示例： #

uvicorn main:app --host 0.0.0.0 --port 8080 --timeout-keep-alive 3600 --timeout-graceful-shutdown 3600

代码内配置示例： #

from uvicorn import Config, Server

config = Config(
    "main:app",
    host="0.0.0.0",
    port=8080,
    timeout_keep_alive=3600,
    timeout_graceful_shutdown=3600
)
server = Server(config)
server.run()

3. 同步客户端调用超时 #

确保客户端调用的超时设置不小于端点的prediction_timeout，避免客户端先于端点触发超时：

Python客户端调用示例： #

# 调用时设置超时为3600秒
predict_response = endpoint.predict(
    instances=[...],  # 你的输入数据
    timeout=3600
)

Node.js客户端调用示例： #

// 调用时设置超时为3600000毫秒（1小时）
const [response] = await endpoint.predict(
    { instances: [...] },
    { timeout: 3600000 }
);

4. 检查FastAPI路由的超时限制 #

确保你的FastAPI路由没有自定义的超时装饰器（比如@timeout），避免应用层提前中断长时预测任务。

5. 验证日志定位问题 #

• 查看Vertex AI端点日志：检查是否有prediction timeout exceeded相关条目，确认是端点超时导致的502。
• 查看容器日志：检查Uvicorn是否有Connection closed或超时相关错误，确认服务端是否主动断开连接。

内容的提问来源于stack exchange，提问作者flip