如何使用PowerShell将S3存储桶文件夹中的JSON文件导入DynamoDB表

没问题，这事儿我门儿清！下面给你一步步拆解怎么用PowerShell完成从S3导入JSON到DynamoDB表的操作：

先确认前提条件 #

在动手之前，得确保这几点都搞定：

• 已经安装并配置好AWS Tools for PowerShell（毕竟要调用AWS的专属cmdlet）
• 你的PowerShell会话有足够权限：能读取目标S3文件夹里的JSON文件，还能往目标DynamoDB表写数据
• JSON文件格式要合规：要么是一个包含对象的数组（比如[{"id":1}, {"id":2}]），要么是每行一个独立JSON对象的JSON Lines格式（这种批量导入更友好）

步骤1：读取S3中的JSON文件内容 #

首先得把S3上的JSON文件内容拉到PowerShell里，用Read-S3Object就能直接读取，不用先下载到本地：

# 替换成你的实际参数
$s3BucketName = "your-bucket-name"
$s3FileKey = "path/to/your/file.json" # 比如data/imports/user-data.json

# 直接读取S3文件内容为字符串
$jsonContent = Read-S3Object -BucketName $s3BucketName -Key $s3FileKey -AsString

步骤2：解析JSON并转换为DynamoDB兼容格式 #

DynamoDB不认普通的JSON对象，得转换成它要求的带类型标记的结构（比如字符串用S，数字用N）。AWS Tools for PowerShell提供了ConvertTo-DDBItem来自动帮我们做转换：

如果你的JSON是数组格式 #

# 把JSON字符串转成PowerShell对象数组
$rawItems = $jsonContent | ConvertFrom-Json

# 转换每个对象为DynamoDB可接受的条目格式
$ddbItems = $rawItems | ForEach-Object { ConvertTo-DDBItem -InputObject $_ }

如果你的JSON是JSON Lines格式（每行一个对象） #

# 按行拆分，过滤空行后转成对象数组
$rawItems = $jsonContent -split "`n" | Where-Object { $_ -trim() -ne "" } | ConvertFrom-Json

# 同样转成DynamoDB格式
$ddbItems = $rawItems | ForEach-Object { ConvertTo-DDBItem -InputObject $_ }

步骤3：批量导入到DynamoDB #

DynamoDB的批量写入接口Write-DDBBatchItem一次最多能处理25条数据，所以我们得把条目分成批次来导入：

# 替换成你的DynamoDB表名
$ddbTableName = "your-table-name"

# 分批次循环处理
for ($i = 0; $i -lt $ddbItems.Count; $i += 25) {
    # 取当前批次的25条数据（处理最后一批不足25条的情况）
    $currentBatch = $ddbItems[$i..($i + 24)] | Where-Object { $_ -ne $null }
    
    # 构造批量写入请求
    $batchRequest = @{
        $ddbTableName = $currentBatch | ForEach-Object {
            @{
                PutRequest = @{
                    Item = $_
                }
            }
        }
    }

    # 执行写入，加个简单的错误处理更稳妥
    try {
        Write-DDBBatchItem -RequestItems $batchRequest
        Write-Host "✅ 成功导入第 $($i+1) 到 $($i + $currentBatch.Count) 条数据"
    } catch {
        Write-Error "❌ 导入批次失败：$($_.Exception.Message)"
    }
}

一些关键注意事项 #

• 权限排查：如果遇到访问被拒绝，先检查你的AWS凭证有没有s3:GetObject和dynamodb:BatchWriteItem权限，必要时用Set-AWSCredentials指定正确的凭证
• 数据类型匹配：如果导入后数据类型不对（比如数字变成了字符串），可以手动指定类型，比如把ConvertTo-DDBItem换成手动构造条目：@{ id = @{ N = $_.id.ToString() } }
• 大文件优化：如果JSON文件特别大（比如超过1GB），建议先下载到本地临时文件，然后逐行读取处理，避免内存溢出
• 重复数据处理：如果你的表有主键，重复导入会覆盖现有数据，要是想跳过重复项，可以先查一下主键是否存在再决定写入

内容的提问来源于stack exchange，提问作者Harshita Sinha