gRPC经ALB触发AWS Lambda时解析请求体出现proto反序列化错误如何解决

问题根源 #

gRPC基于HTTP/2传输时，消息体不是裸的Protobuf二进制，每帧数据都带固定5字节的前缀：

• 第1字节：压缩标志位，0表示未压缩，1表示已压缩，具体压缩算法对应请求头grpc-accept-encoding取值
• 第2-5字节：大端序Uint32类型，代表后续Protobuf消息体的字节长度
  你拿到的字节数组前5位[0 0 0 0 85]正好是该前缀，直接将整段字节传入proto.Unmarshal会因为前缀不符合Protobuf wire格式报错。

修复后的代码 #

import (
    "context"
    "encoding/base64"
    "encoding/binary"
    "github.com/aws/aws-lambda-go/events"
    "github.com/aws/aws-lambda-go/lambda"
    "google.golang.org/protobuf/proto"
    "log"
    // 替换为你自己的pb包路径
)

func HandleRequest(ctx context.Context, request events.ALBTargetGroupRequest) (events.ALBTargetGroupResponse, error) {
    // 先判断是否需要base64解码，不要硬编码假设
    var bt []byte
    var err error
    if request.IsBase64Encoded {
        bt, err = base64.StdEncoding.DecodeString(request.Body)
        if err != nil {
            log.Printf("Failed to decode body: %s\n", err.Error())
            return events.ALBTargetGroupResponse{}, err
        }
    } else {
        bt = []byte(request.Body)
    }

    // 校验长度至少包含5字节gRPC前缀
    if len(bt) < 5 {
        log.Println("invalid gRPC frame: too short")
        return events.ALBTargetGroupResponse{StatusCode: 400}, nil
    }

    // 解析前缀
    compressedFlag := bt[0]
    msgLen := binary.BigEndian.Uint32(bt[1:5])

    // 校验消息长度匹配
    if uint32(len(bt[5:])) < msgLen {
        log.Println("invalid gRPC frame: message length mismatch")
        return events.ALBTargetGroupResponse{StatusCode: 400}, nil
    }
    protoPayload := bt[5:5+msgLen]

    // 如果压缩标志位为1，需要先对应解压，示例为未压缩场景
    if compressedFlag == 1 {
        // 可根据请求头的grpc-accept-encoding选择gzip/deflate解压逻辑
        // 解压后覆盖protoPayload变量即可
    }

    msg := pb.Msg{}
    err = proto.Unmarshal(protoPayload, &msg)
    if err != nil {
        log.Printf("Failed to unmarshal body: %s\n", err.Error())
        return events.ALBTargetGroupResponse{}, err
    }

    // 业务逻辑处理...

    // 返回响应时也需要按照gRPC格式封装，参考示例：
    // respProtoBytes, _ := proto.Marshal(respMsg)
    // respBuf := make([]byte, 5 + len(respProtoBytes))
    // respBuf[0] = 0 // 未压缩标志
    // binary.BigEndian.PutUint32(respBuf[1:5], uint32(len(respProtoBytes)))
    // copy(respBuf[5:], respProtoBytes)
    // 之后将respBuf做base64编码后放入Body，设置IsBase64Encoded为true，响应头加content-type: application/grpc

    return events.ALBTargetGroupResponse{
        Body: "", StatusCode: 200, 
        StatusDescription: "200 OK", 
        IsBase64Encoded: false, 
        Headers: map[string]string{
            "content-type": "application/grpc",
        },
    }, nil
}

func main() {
    lambda.Start(HandleRequest)
}

额外注意事项 #

• 需提前在ALB侧开启gRPC支持，否则ALB会将gRPC请求当做普通HTTP/2请求处理，可能出现帧截断问题
• 若为流式gRPC场景，数据帧会包含多组5字节前缀+Protobuf消息体的结构，需要循环解析所有帧
• 客户端侧需要正确配置gRPC服务端地址为ALB的域名，路径对应gRPC方法的全限定名（/package.Service/Method），Lambda侧可通过request.Path字段获取该路径做路由判断

内容的提问来源于stack exchange，提问作者Elad