配置GCLB对接Wasabi S3遇502错误及backend_connection_closed问题排查

我正在配置Google Cloud Load Balancer（GCLB），将外部后端指向Wasabi S3存储桶，目标是通过负载均衡器和Cloud CDN提供桶内视频文件，但持续出现502 Bad Gateway错误，日志显示backend_connection_closed_before_data_sent_to_client。

配置详情 #

• SSL证书：配置Google托管SSL证书，包含mydomain.com和www.mydomain.com（已激活）
• NEG：创建指向Wasabi的NEG，FQDN为s3.us-west-1.wasabisys.com，端口443
• 负载均衡器：已授权Google IP访问存储桶，后续因Wasabi不响应HTTP/2请求，将后端协议从HTTP/2改为HTTP；后端配置包含2个服务，其中一个为新建的user-clips服务；已添加自定义请求头Host: s3.us-west-1.wasabisys.com
• 主机和路径规则：添加规则Host: *, Paths: /all-users-clip-storage-wasabi/*, Backend: user-clips
• 私有源：因存储桶非公开，已配置私有源认证

问题现象 #

1. 使用负载均衡器IP访问
   执行命令：

time wget "https://my_load_balancer_ip/all-users-clip-storage-wasabi/all-users-projects/exampleUser/project-name-placeholder/video_file.mp4"

报错：

The certificate's owner does not match hostname ‘my_load_balancer_ip’

2. 使用域名（带/不带www）访问
   执行结果：

Resolving www.mydomain.com (www.mydomain.com)... {my_load_balancer_ip}
Connecting to www.mydomain.com (www.mydomain.com)|{my_load_balancer_ip}|:443... connected.
HTTP request sent, awaiting response... 502 Bad Gateway
2024-08-08 23:50:46 ERROR 502: Bad Gateway.

real    0m0.342s
user    0m0.017s
sys     0m0.005s

对应请求日志：

statusDetails: "backend_connection_closed_before_data_sent_to_client"

请求响应耗时不足1秒，排除超时因素。

已尝试的解决方案 #

• 将TCP超时设置为600s
• 验证SSL证书对两个域名均已激活
• 将协议从HTTP/2改为HTTP
• 使用预签名URL
• 确认私有源配置正确

核心问题 #

1. 此配置下导致502 Bad Gateway错误的原因是什么？
2. 负载均衡器与Wasabi S3后端正常通信是否需要额外配置？
3. 如何验证负载均衡器是否正确将请求路由到后端服务？

解决方案与回答 #

1. 502 Bad Gateway错误的可能原因

• 路径重写缺失：GCLB会将原始路径/all-users-clip-storage-wasabi/xxx直接转发给Wasabi，但Wasabi的对象访问路径应为/存储桶名/对象路径。如果未配置路径重写，Wasabi无法匹配到对应对象，会提前关闭连接。
• Host头配置错误：Wasabi默认采用虚拟主机风格访问，要求Host头为存储桶名.s3.us-west-1.wasabisys.com，而非通用的s3.us-west-1.wasabisys.com。错误的Host头会导致Wasabi拒绝处理请求。
• 私有源签名不兼容：GCLB默认私有源认证逻辑适配AWS S3，Wasabi作为S3兼容存储，可能存在签名版本、区域匹配的问题，导致认证失败，后端主动断开连接。

2. 负载均衡器与Wasabi S3通信的额外配置

• 添加路径重写规则：在负载均衡器的后端服务配置中，将路径/all-users-clip-storage-wasabi/*重写为/*（确保all-users-clip-storage-wasabi是你的存储桶名）。
• 修正Host头：将自定义请求头改为存储桶名.s3.us-west-1.wasabisys.com；若需使用路径风格访问，需先在Wasabi控制台开启对应存储桶的路径风格权限，再保留原Host头。
• 调整私有源认证：确认使用Wasabi的Access Key和Secret Key，签名版本设置为V4，且签名区域指定为us-west-1。
• 启用后端证书验证：在NEG配置中开启“验证后端证书”，确保GCLB信任Wasabi的SSL证书，避免因证书不信任中断连接。

3. 验证请求路由的方法

• 检查GCLB日志：在Cloud Logging中筛选负载均衡器请求日志，查看backend_service_name是否为user-clips，backend_target是否指向配置的Wasabi NEG，确认请求是否匹配目标后端。
• curl测试路径重写：执行带-v参数的curl命令，查看请求路径是否被正确改写：

  curl -v https://www.mydomain.com/all-users-clip-storage-wasabi/test-file.mp4
  

  在输出中查找> GET /xxx HTTP/1.1，确认路径符合Wasabi的访问格式。
• 直接测试Wasabi连通性：使用同区域的Google Cloud VM执行命令，验证Wasabi后端是否正常响应：

  curl -H "Host: 存储桶名.s3.us-west-1.wasabisys.com" https://s3.us-west-1.wasabisys.com/存储桶名/test-file.mp4 --user "AccessKey:SecretKey"
  

  若能正常返回对象，说明后端服务本身无问题，问题出在GCLB配置。

内容的提问来源于stack exchange，提问作者Rochin