如何优化PowerShell脚本提升AWS S3批量文件处理速度？

问题背景 #

第三方服务会向指定AWS S3存储桶上传不定数量的文件（高峰时几分钟内可达数百个），每次上传会触发SQS队列更新。当前使用每10分钟运行一次的PowerShell脚本处理文件，但大文件量下执行耗时过长，需要优化处理速度并避免重复处理。

原脚本核心问题：

• 全量遍历S3存储桶根目录，大文件量下遍历耗时久
• 串行执行下载、移动、删除操作，效率低下
• 提前清空SQS队列，丢失消息关联的文件上下文，无法精准处理新上传文件

优化方案 #

1. 基于SQS消息触发处理，替代全量轮询 #

利用SQS消息获取新增文件信息，避免遍历整个存储桶。每条SQS消息对应一个上传事件，直接提取文件Key，无需全量扫描。同时通过消息可见性超时机制，确保同一文件不会被重复处理：处理消息时先将消息设为不可见，处理完成后再删除消息，若处理失败，消息会重新可见，避免丢失。

2. 并行执行文件操作 #

使用PowerShell 7+的ForEach-Object -Parallel（或Start-Job兼容旧版本）并行处理多个文件，大幅提升批量处理速度。

3. 合并单文件的多步操作 #

将单个文件的下载、移动到Done文件夹、删除原文件合并到同一逻辑块，减少循环次数，避免多次遍历文件列表。

4. 增加重复处理校验 #

处理前检查目标文件是否已存在于Done文件夹，避免重复操作。

优化后的脚本示例 #

$ErrorActionPreference = "Continue"
$date = Get-Date -Format "dd-MM-yyyy-HH-mm-ss"
Start-Transcript -Path "C:\temp\log_$date.txt" -Append

# 配置AWS参数
Set-AWSCredential -ProfileName profile
Set-DefaultAWSRegion -Region eu-west-1

$BucketName = "example-bucket"
$SqsURL = "https://sqs.eu-west-1.amazonaws.com/xxxxxxxxxxxx/example-bucket"
$LocalDownloadPath = "\\winserver\files\"
$VisibilityTimeout = 300  # 消息不可见时长（秒），确保处理完成前不会被重复消费

# 批量获取SQS消息（一次最多10条，可调整）
$sqsParams = @{
    QueueUrl = $SqsURL
    MaxNumberOfMessages = 10
    VisibilityTimeout = $VisibilityTimeout
    WaitTimeSeconds = 20  # 长轮询，减少空请求
}

do {
    $messages = Receive-SQSMessage @sqsParams
    if (-not $messages) { break }

    # 并行处理每条消息对应的文件
    $messages | ForEach-Object -Parallel {
        $msg = $_
        $bucketName = $using:BucketName
        $localPath = $using:LocalDownloadPath
        $sqsUrl = $using:SqsURL

        # 解析S3事件消息（假设消息是S3上传事件的JSON）
        $msgBody = $msg.Body | ConvertFrom-Json
        $s3Key = $msgBody.Records[0].s3.object.key

        # 跳过Done文件夹的文件
        if ($s3Key -like "Done/*") {
            Remove-SQSMessage -QueueUrl $sqsUrl -ReceiptHandle $msg.ReceiptHandle
            return
        }

        # 检查是否已处理过（文件已在Done文件夹）
        $doneKey = "Done/$s3Key"
        if (Test-S3Object -BucketName $bucketName -Key $doneKey) {
            Remove-SQSMessage -QueueUrl $sqsUrl -ReceiptHandle $msg.ReceiptHandle
            return
        }

        try {
            # 1. 下载文件到本地
            $localFilePath = Join-Path -Path $localPath -ChildPath $s3Key
            # 确保本地目录存在
            $localDir = Split-Path -Path $localFilePath -Parent
            if (-not (Test-Path -Path $localDir)) {
                New-Item -Path $localDir -ItemType Directory -Force | Out-Null
            }
            Copy-S3Object -BucketName $bucketName -Key $s3Key -LocalFile $localFilePath

            # 2. 复制到Done文件夹
            Copy-S3Object -BucketName $bucketName -Key $s3Key -DestinationKey $doneKey

            # 3. 删除原文件
            Remove-S3Object -BucketName $bucketName -Key $s3Key -Force

            # 处理完成，删除SQS消息
            Remove-SQSMessage -QueueUrl $sqsUrl -ReceiptHandle $msg.ReceiptHandle
            Write-Host "Successfully processed file: $s3Key"
        }
        catch {
            Write-Error "Failed to process file $s3Key : $_"
            # 无需删除消息，超时后会重新入队重试
        }
    } -ThrottleLimit 15  # 并行数量，根据服务器性能调整
} while ($messages)

Stop-Transcript

额外优化建议 #

• 升级到PowerShell 7+：ForEach-Object -Parallel比Start-Job更高效，资源占用更低。
• 调整并行节流值：根据Windows服务器的CPU、网络带宽调整-ThrottleLimit，避免资源耗尽。
• 启用S3事件通知的批量发送：在S3事件通知设置中开启批量发送，减少SQS消息数量，提升处理效率。
• 日志优化：可将成功/失败日志分离存储，方便排查问题。

内容的提问来源于stack exchange，提问作者Xanthus