部署Golang代码到Heroku：从AWS S3读取文件的技术求助

我来帮你搞定这个部署问题！刚好我之前在Heroku上部署Go应用时也处理过S3文件读取的需求，给你梳理一下最靠谱的方案：

首选AWS官方的AWS SDK for Go v2，也就是github.com/aws/aws-sdk-go-v2及其对应的S3服务包github.com/aws/aws-sdk-go-v2/service/s3。这个库是官方维护的，稳定性强，支持S3的所有核心特性，而且适配现代Go的最佳实践（比如context支持）。

相比旧版的v1，v2更轻量，模块化程度更高，你只需要引入需要的包即可，不会产生冗余依赖。

考虑到Heroku的文件系统是临时可写的（只有/tmp目录能持久写入一段时间），所以我们把文件写到/tmp目录下，避免权限问题。

第一步：安装依赖 #

在你的Go项目里执行：

go get github.com/aws/aws-sdk-go-v2/config
go get github.com/aws/aws-sdk-go-v2/service/s3
go get github.com/aws/aws-sdk-go-v2/aws

第二步：完整代码片段 #

package main

import (
	"context"
	"fmt"
	"io"
	"os"

	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/config"
	"github.com/aws/aws-sdk-go-v2/service/s3"
)

// ReadS3FileToLocal 从S3读取指定文件并写入本地临时目录
func ReadS3FileToLocal(ctx context.Context, bucketName, objectKey string) (string, error) {
	// 本地临时文件路径，Heroku的/tmp目录是可写的
	localFilePath := fmt.Sprintf("/tmp/%s", objectKey)

	// 加载AWS配置：自动从环境变量读取AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_REGION
	cfg, err := config.LoadDefaultConfig(ctx, config.WithRegion(os.Getenv("AWS_REGION")))
	if err != nil {
		return "", fmt.Errorf("加载AWS配置失败: %w", err)
	}

	// 创建S3客户端
	s3Client := s3.NewFromConfig(cfg)

	// 获取S3对象
	getObjResp, err := s3Client.GetObject(ctx, &s3.GetObjectInput{
		Bucket: aws.String(bucketName),
		Key:    aws.String(objectKey),
	})
	if err != nil {
		return "", fmt.Errorf("获取S3文件失败: %w", err)
	}
	defer getObjResp.Body.Close()

	// 创建本地临时文件
	localFile, err := os.Create(localFilePath)
	if err != nil {
		return "", fmt.Errorf("创建本地临时文件失败: %w", err)
	}
	defer localFile.Close()

	// 将S3文件内容复制到本地文件
	_, err = io.Copy(localFile, getObjResp.Body)
	if err != nil {
		return "", fmt.Errorf("复制S3内容到本地失败: %w", err)
	}

	fmt.Printf("文件已成功从S3桶[%s]下载到本地路径: %s\n", bucketName, localFilePath)
	return localFilePath, nil
}

// 示例调用
func main() {
	ctx := context.Background()
	// 这里可以换成你的S3桶名和要读取的文件名
	bucket := "your-s3-bucket-name"
	fileName := "input.txt"

	localPath, err := ReadS3FileToLocal(ctx, bucket, fileName)
	if err != nil {
		fmt.Printf("操作失败: %v\n", err)
		os.Exit(1)
	}

	// 接下来就可以使用localPath对应的本地文件进行后续处理了
	// 比如读取文件内容：
	content, err := os.ReadFile(localPath)
	if err != nil {
		fmt.Printf("读取本地文件失败: %v\n", err)
		os.Exit(1)
	}
	fmt.Println("文件内容:\n", string(content))
}

第三步：配置Heroku环境变量 #

在Heroku上部署时，需要把AWS的凭证和区域配置成环境变量（绝对不要硬编码到代码里！）：

# 用Heroku CLI设置环境变量
heroku config:set AWS_ACCESS_KEY_ID=你的AWS访问密钥ID
heroku config:set AWS_SECRET_ACCESS_KEY=你的AWS秘密访问密钥
heroku config:set AWS_REGION=你的S3桶所在区域（比如us-east-1）

注意事项 #

• 确保你的AWS IAM用户拥有s3:GetObject权限，对应的IAM策略可以参考：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::你的桶名/*"
        }
    ]
}

• Heroku的/tmp目录是临时的，当你的dyno重启时会被清空，所以每次需要使用文件时都要重新从S3下载。

内容的提问来源于stack exchange，提问作者user3710436