Locust在AWS g4dnxlarge GPU实例无法调用API，m54xlarge CPU实例正常求助

在AWS g4dn.xlarge GPU实例上运行Locust应用时无法正常工作，但相同代码在AWS m5.4xlarge CPU实例上可正常运行。从Locust UI发起调用时，请求无法命中g4dn.xlarge实例上部署的API，m5.4xlarge实例则能成功调用。

相关Locust代码（已修正转义错误） #

from locust import HttpUser, task, between

class MyUser(HttpUser):
    wait_time = between(1, 5)  # 按需调整等待时间

    @task
    def generate_embeddings(self):
        # 定义API端点URL
        api_url = "/generate_embeddings"
        # JSON请求体
        payload = {
            "input_s3_uri": "s3://es-pf/images_new",
            "batch_size": 1
        }

        # 发送POST请求到API
        print('api_url: ')
        print(api_url)
        response = self.client.post(api_url, json=payload)

        # 检查响应状态码
        if response.status_code == 200:
            print("API调用成功")
        else:
            print("API调用失败，状态码:", response.status_code)

错误现象 #

Locust UI显示请求无法成功命中目标API，返回异常结果，与m5.4xlarge实例上的成功请求表现完全不同。

1. 修正代码格式错误：原代码中字符串里多余的转义符\会导致API路径和JSON请求体格式无效。比如"\input_s3_uri\"会被解析成带转义符的键名，不符合JSON规范；"\generate_embeddings"会生成错误的API路径。CPU实例可能因环境兼容未触发报错，但GPU实例的运行环境对格式要求更严格，这是最可能的原因。
2. 验证API本地可达性：在g4dn.xlarge实例上直接用curl测试API服务，确认服务是否正常运行：

   curl -X POST http://localhost/generate_embeddings \
   -d '{"input_s3_uri": "s3://es-pf/images_new", "batch_size": 1}' \
   -H "Content-Type: application/json"
   

   如果本地调用失败，说明API服务本身未正常启动，需检查GPU实例上的API进程、端口监听情况。
3. 对比实例网络配置：
   • 检查g4dn.xlarge的安全组规则，确认是否允许Locust所在IP（或端口）访问API的监听端口，对比m5.4xlarge的安全组配置。
   • 查看子网路由表，确保实例能正常访问API所在的网络（内网或公网）。
4. 核对环境依赖版本：对比两个实例的Python版本、Locust版本、requests等依赖包版本，GPU实例可能因依赖版本不一致导致请求发送异常。
5. 查看日志细节：检查g4dn.xlarge上Locust的运行日志，以及API服务的日志，定位具体报错信息（如连接超时、JSON解析错误、权限问题等）。

内容的提问来源于stack exchange，提问作者merkle