.NET Core下S3 Bucket文件转AWS SQS的Lambda函数实现咨询

首先明确核心限制：Amazon SQS单条消息最大大小为256KB，直接传输1GB文件内容到SQS不可行。针对你的需求，提供两种可行方案：

方案一：发送S3文件元数据（推荐） #

此方案不传输文件内容，而是将S3文件的位置信息发送到SQS，由消费端自行从S3读取内容，完美适配大文件场景。

修改你的循环逻辑如下：

string queueURL = "https://sqs.us-east-1.amazonaws.com/1123456/testQueue";
string bucketName = "testbucket";
IAmazonSQS sqsClient = new AmazonSQSClient();
IAmazonS3 s3Client = new AmazonS3Client();

// 注：Lambda主动拉取S3文件发送到SQS时，无需给S3授权队列权限，只需确保Lambda执行角色拥有S3读权限和SQS发送权限
var queueARNResp = await sqsClient.GetQueueAttributesAsync(queueURL, new List<string> { QueueAttributeName.QueueArn });
if (!string.IsNullOrEmpty(queueARNResp.QueueARN))
{
    Console.WriteLine($"目标队列ARN：{queueARNResp.QueueARN}");
}

ListObjectsResponse objectResponse = await s3Client.ListObjectsAsync(bucketName);

foreach (S3Object file in objectResponse.S3Objects)
{
    // 构造包含文件元数据的消息内容
    var messageContent = JsonSerializer.Serialize(new
    {
        BucketName = bucketName,
        FileKey = file.Key,
        FileSize = file.Size,
        LastModified = file.LastModified
    });

    // 发送消息到SQS
    SendMessageResponse sendResponse = await sqsClient.SendMessageAsync(queueURL, messageContent);
    Console.WriteLine($"已发送消息，MessageId：{sendResponse.MessageId}");
}

方案二：拆分文件内容为多条SQS消息（仅适合必须传输内容的场景） #

若必须传输文件内容，需按256KB限制拆分文件，分条发送并标记分片信息，方便消费端拼接。

示例代码如下：

string queueURL = "https://sqs.us-east-1.amazonaws.com/1123456/testQueue";
string bucketName = "testbucket";
IAmazonSQS sqsClient = new AmazonSQSClient();
IAmazonS3 s3Client = new AmazonS3Client();

ListObjectsResponse objectResponse = await s3Client.ListObjectsAsync(bucketName);

foreach (S3Object file in objectResponse.S3Objects)
{
    using (var getObjectResponse = await s3Client.GetObjectAsync(bucketName, file.Key))
    using (var streamReader = new StreamReader(getObjectResponse.ResponseStream))
    {
        // 按256KB分片（字符数，需根据文本编码调整）
        char[] buffer = new char[256 * 1024];
        int chunkIndex = 0;
        int charsRead;
        // 计算总分片数
        int totalChunks = (int)Math.Ceiling((double)file.Size / (256 * 1024));

        while ((charsRead = await streamReader.ReadAsync(buffer, 0, buffer.Length)) > 0)
        {
            string chunkContent = new string(buffer, 0, charsRead);
            // 构造带分片标识的消息
            var messageContent = JsonSerializer.Serialize(new
            {
                FileKey = file.Key,
                ChunkIndex = chunkIndex++,
                TotalChunks = totalChunks,
                Content = chunkContent
            });

            SendMessageResponse sendResponse = await sqsClient.SendMessageAsync(queueURL, messageContent);
            Console.WriteLine($"已发送文件 {file.Key} 第 {chunkIndex} 片，MessageId：{sendResponse.MessageId}");
        }
    }
}

注意事项 #

1. 方案二中的分片大小需根据文本编码调整，避免多字节字符被拆分。
2. 处理大文件时，需调整Lambda的内存配置和超时时间，确保执行完成。
3. Lambda执行角色需拥有以下权限：
   • s3:GetObject、s3:ListBucket（目标S3 Bucket）
   • sqs:SendMessage（目标SQS队列）

内容的提问来源于stack exchange，提问作者aka baka