Golang无需下载直接读取AWS S3 JSON文件的问题咨询

报错根因 #

你当前代码中使用os.Open(FileName)是尝试读取本地磁盘上的文件，而你没有将S3文件下载到本地存储，所以必然会触发「文件不存在」的报错。要实现不落地直接解析，你只需要通过S3 SDK直接拉取文件内容到内存，全程不需要经过本地磁盘。 #

具体修改步骤 #

1. 透传S3客户端 #

你在awsDataDownload方法中已经初始化了可用的S3客户端，需要将这个客户端透传到后续的文件处理方法中，避免重复初始化。
修改awsDataDownload中的调用逻辑，将userS3作为参数传入：

// 原调用代码
// s.fctDataDownload(res,req,awsURLmatchJson,awsUploadFile.URL, awsUploadFile.FileName)
// 修改为透传userS3
s.fctDataDownload(res,req,awsURLmatchJson,awsUploadFile.URL, awsUploadFile.FileName, userS3)

同时同步修改fctDataDownload和fctOrgProfile的方法签名，增加S3客户端参数（注意替换为你实际使用的S3客户端类型）：

func (s *Server) fctDataDownload(res http.ResponseWriter, req *http.Request, awsURLmatchJson, URL, FileName string, userS3 *s3.S3) {
    s.fctOrgProfile(res, req, awsURLmatchJson, URL, FileName, userS3)
    // 其他方法调用同理透传即可
    // s.fctOrgPeople(res, req, userS3)
    // s.fctOrgFundings(res, req, userS3)
}

2. 替换本地文件读取逻辑为S3对象读取 #

将fctOrgProfile中os.Open相关的本地文件读取逻辑，替换为S3拉取对象的逻辑，直接使用返回的流式Reader做JSON解析：

func (s *Server) fctOrgProfile(res http.ResponseWriter, req *http.Request, awsURLmatchJson, URL, FileName string, userS3 *s3.S3) {
    s.logger.Infof("awsURLmatchJson %+v", awsURLmatchJson)
    companiesNameMatch := regexp.MustCompile(`.+?(.people)`).FindStringSubmatch(awsURLmatchJson)
    s.logger.Infof("%+v", companiesNameMatch)
    if len(companiesNameMatch) < 1 {
        return
    }
    s.logger.Errorf(" companiesNameMatch %+v", companiesNameMatch)
    s.logger.Errorf(" FileName %+v", FileName)

    // 替换os.Open逻辑，直接从S3拉取文件流
    objectReader, err := userS3.GetObject(req.Context(), "userS3", FileName)
    if err != nil {
        fmt.Printf("failed to get S3 object: %s, error: %v", FileName, err)
        s.logger.Errorf("get S3 object failed: %v", err)
        return
    }
    defer objectReader.Close() // 必须关闭Reader避免资源泄漏

    // 直接用JSON解码器从流中解析，全程在内存操作无本地磁盘IO
    // 此处替换为你实际的业务结构体即可
    var targetData YourBusinessStruct
    err = json.NewDecoder(objectReader).Decode(&targetData)
    if err != nil {
        fmt.Printf("failed to parse json: %v", err)
        s.logger.Errorf("parse json failed: %v", err)
        return
    }

    // 后续直接将解析完成的targetData写入你的数据库即可
    // 你的业务逻辑...
}

额外说明 #

• 如果你的S3库的GetObject方法签名和示例不同，只需要调整参数适配即可，核心逻辑都是获取S3对象的IO流直接解析。
• 这种流式解析方式即使面对大体积JSON文件，内存占用也非常低，不需要一次性加载整个文件到内存，效率高于先读取全量字节再解析的方案。
• 生产环境不要硬编码AKSK到代码中，建议使用IAM角色、环境变量或者配置中心管理密钥，避免泄露风险。

内容的提问来源于stack exchange，提问作者Asaduzzaman Sohel