调用SageMaker Llama 2端点报错：需添加custom_attributes请求头

Postman调用端点报错的解决办法 #

• 打开Postman的请求头设置，新增custom_attributes字段，值设为'accept_eula=true'
• 确认AWS凭证（Access Key和Secret Key）已正确配置在Postman的授权选项里，选择AWS Signature类型，填好对应区域、服务名称（sagemaker）

Lambda + API Gateway返回Internal Server Error的排查与解决 #

1. 检查Lambda执行权限 #

• 给Lambda的执行角色添加调用SageMaker端点的权限，IAM策略示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sagemaker:InvokeEndpoint",
            "Resource": "arn:aws:sagemaker:你的区域ID:你的AWS账号ID:endpoint/你的端点名称"
        }
    ]
}

2. 修正Lambda代码的请求头 #

• 调用SageMaker端点时必须携带custom_attributes='accept_eula=true'请求头，Python示例代码：

import boto3

def lambda_handler(event, context):
    sagemaker_client = boto3.client('sagemaker-runtime')
    endpoint_name = '你的端点名称'
    # 根据模型要求调整payload格式，比如JSON格式
    payload = '{"inputs": "你的提问内容"}'
    
    try:
        response = sagemaker_client.invoke_endpoint(
            EndpointName=endpoint_name,
            ContentType='application/json',
            CustomAttributes="accept_eula=true",
            Body=payload
        )
        result = response['Body'].read().decode('utf-8')
        return {
            'statusCode': 200,
            'body': result
        }
    except Exception as e:
        # 捕获错误方便排查，上线可按需调整
        return {
            'statusCode': 500,
            'body': str(e)
        }

3. 查看Lambda日志定位问题 #

• 进入AWS控制台的Lambda服务，找到目标函数，打开监控模块下的CloudWatch日志，查看具体报错信息——比如端点名称写错、权限不足、payload格式不匹配模型要求等

4. 检查API Gateway配置 #

• 确认API Gateway的集成请求设置正确，比如是否正确映射Lambda的响应；如果是前端调用，需开启CORS
• 用API Gateway控制台的测试功能直接发起请求，查看返回的错误详情，快速定位问题

内容的提问来源于stack exchange，提问作者user2129623