使用Golang反向代理AWS S3 HTML文件时遇权限拒绝错误

问题背景 #

已通过NodeJS实现反向代理，可通过acloudguru.localhost:8080正常访问AWS S3存储桶（https://test-bucket-a-cloud-guru.s3.us-east-1.amazonaws.com/acloudguru/index.html）中的公开静态文件；但使用Go的httputil.SingleHostReverseProxy实现相同功能时，出现AllAccessDisabled权限拒绝错误，且请求被重定向至错误的区域地址https://acloudguru.s3-eu-west-1.amazonaws.com/acloudguru。

问题分析 #

对比NodeJS与Go代码的核心差异：

• NodeJS的http-proxy设置了changeOrigin: true，会自动修改请求的Host头为目标S3桶的域名；Go代码直接修改r.URL，但SingleHostReverseProxy的默认Director逻辑会覆盖部分请求设置，导致Host头不正确，触发S3区域重定向。
• NodeJS处理了根路径（/）自动追加index.html的逻辑；Go代码未处理该场景，S3收到根路径请求时返回的重定向会因Host错误指向不存在的桶地址。

修复方案 #

自定义Go反向代理的Director函数，精准控制请求路径、Host头及目标地址，匹配NodeJS的代理逻辑：

1. 处理根路径，自动追加index.html
2. 动态构建目标路径，结合子域名映射到S3桶的对应目录
3. 强制设置请求Host为S3桶的正确域名，避免区域重定向
4. 正确修改请求的URL参数，确保反向代理转发到正确地址

修复后的完整代码 #

package main

import (
    "log"
    "net/http"
    "net/http/httputil"
    "net/url"
    "strings"
)

const (
    port     = ":8080"
    baseHost = "test-bucket-a-cloud-guru.s3.us-east-1.amazonaws.com"
    basePath = "https://test-bucket-a-cloud-guru.s3.us-east-1.amazonaws.com"
)

func main() {
    // 自定义反向代理，替代默认SingleHostReverseProxy的固定逻辑
    reverseProxy := &httputil.ReverseProxy{
        Director: func(req *http.Request) {
            // 提取子域名（从acloudguru.localhost:8080中提取acloudguru）
            hostname := strings.Split(req.Host, ":")[0]
            subdomain := strings.Split(hostname, ".")[0]

            // 处理根路径，自动追加index.html
            if req.URL.Path == "/" {
                req.URL.Path += "index.html"
            }

            // 构建完整的目标S3对象地址
            targetURLStr := basePath + "/" + subdomain + req.URL.Path
            targetURL, err := url.Parse(targetURLStr)
            if err != nil {
                log.Printf("解析目标URL失败: %v", err)
                return
            }

            // 重置请求的URL参数，指向目标S3地址
            req.URL.Scheme = targetURL.Scheme
            req.URL.Host = targetURL.Host
            req.URL.Path = targetURL.Path
            req.URL.RawQuery = targetURL.RawQuery

            // 强制设置Host头为S3桶的正确域名，避免区域重定向
            req.Host = baseHost

            // 清除可能干扰的请求头
            req.Header.Del("Origin")
        },
    }

    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
        reverseProxy.ServeHTTP(w, r)
    })

    log.Printf("反向代理运行在端口 %s...\n", port)
    if err := http.ListenAndServe(port, nil); err != nil {
        log.Fatalf("启动服务器失败: %s", err)
    }
}

关键改动说明 #

1. 自定义Director函数：完全替代默认SingleHostReverseProxy的固定转发逻辑，实现动态路径映射
2. 根路径处理：自动为根请求追加index.html，和NodeJS代理逻辑保持一致
3. Host头强制设置：确保请求的Host头为S3桶的官方域名，避免S3因识别错误触发区域重定向
4. 完整目标地址构建：结合子域名和原始请求路径，精准指向S3存储桶中的对应资源

验证 #

运行修改后的Go代码，访问acloudguru.localhost:8080，即可正常加载S3存储桶中的静态文件，不再出现AllAccessDisabled错误及区域重定向问题。

内容的提问来源于stack exchange，提问作者iwrestledthebeartwice