DynamoDB TTL字段类型错误（String转Number）快速修复方案咨询

Hey，我之前处理过大表的DynamoDB schema调整问题，针对你遇到的ttl字段误设为String、表已达26GB的场景，除了你提到的A、B方案，还有几个更适配大表的修复思路，同时给你讲讲批量更新的可行性和Java代码参考：

一、额外可行的修复策略 #

方案C：DynamoDB Streams + Lambda 渐进式迁移 #

这个方案适合需要持续提供服务、不想一次性给表带来巨大压力的场景：

• 先开启目标表的DynamoDB Streams，选择捕获「新旧数据镜像」；
• 编写Lambda函数，监听流中的新写入/更新记录，自动将String类型的ttl转换为Number类型；
• 同时启动一个分批扫描任务（用Scan API分页），遍历历史数据，把旧的String ttls转换成Number后更新到表中；
• 新数据实时被流处理修正，旧数据渐进式迁移，不会瞬间消耗大量读写容量。

方案D：导出-修正-导入重建表 #

如果你的业务可以接受短暂的流量切换或只读模式，这个方案能一次性解决所有数据问题：

1. 先备份表（开启点-in-time恢复或者导出到S3）；
2. 暂停写入流量（或者切换到只读副本）；
3. 用DynamoDB Export to S3工具把全表数据导出到S3；
4. 批量处理S3中的数据，把所有"ttl"字段的String值转为Number；
5. 创建新表，正确配置TTL（指定Number类型的ttl字段）；
6. 用DynamoDB Import from S3工具把修正后的数据导入新表；
7. 切换业务流量到新表，验证无误后删除旧表。

方案E：双写+渐进同步+流量切换 #

适合高可用要求极高、完全不能停服的场景：

1. 修改业务代码，同时向原表（保留String ttl）和新表（正确Number ttl）写入数据；
2. 启动分批扫描任务，把原表的历史数据转换后同步到新表；
3. 当新旧表数据完全同步后，逐步把读写流量切换到新表；
4. 停止双写逻辑，删除旧表。

二、快速批量更新的支持情况 #

DynamoDB确实支持批量更新操作，不过需要注意容量限制：

1. BatchWriteItem API：

   • 一次最多提交25个Put/Delete请求，适合批量更新现有数据；
   • 操作是异步的，可能会有部分请求失败，需要处理返回的UnprocessedItems进行重试；
   • 配合Scan API分页获取数据，分批生成BatchWrite请求，是处理大表批量更新的标准方式。

2. PartiQL批量更新：

   • 可以用UPDATE语句批量修改，但依赖BatchExecuteStatement API，同样一次最多25条语句；
   • 需要指定主键，所以还是得先扫描获取主键和旧ttl值，适合小批量的精准更新。

⚠️ 注意：批量操作会消耗大量RCU/WCU，预置模式下可能触发限流，按需模式下成本会上升。建议控制每次扫描的条数（比如100条/批），或者用限流工具控制请求速率。

三、Java开发的具体实现建议 #

1. 分批扫描+BatchWriteItem更新（方案A的Java实现） #

这个代码片段可以用来遍历历史数据，批量修正ttl字段类型：

import software.amazon.awssdk.services.dynamodb.DynamoDbClient;
import software.amazon.awssdk.services.dynamodb.model.*;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class TTLFieldFixer {
    private final DynamoDbClient dynamoDbClient;
    private final String targetTable = "你的表名";
    private final String primaryKey = "你的主键字段名";

    public TTLFieldFixer() {
        this.dynamoDbClient = DynamoDbClient.create();
    }

    public void startFixing() {
        String lastEvaluatedKey = null;
        do {
            // 构建扫描请求，只获取主键和ttl字段，减少数据传输
            ScanRequest scanReq = ScanRequest.builder()
                    .tableName(targetTable)
                    .attributesToGet(primaryKey, "ttl")
                    .exclusiveStartKey(lastEvaluatedKey != null ? 
                            dynamoDbClient.deserializeAttributeValue(lastEvaluatedKey) : null)
                    .limit(100) // 根据你的WCU调整批次大小
                    .build();

            ScanResponse scanResp = dynamoDbClient.scan(scanReq);
            List<WriteRequest> writeReqs = new ArrayList<>();

            for (var item : scanResp.items()) {
                var ttlAttr = item.get("ttl");
                if (ttlAttr.s() != null) { // 判断是否为String类型
                    try {
                        long ttlNum = Long.parseLong(ttlAttr.s());
                        // 替换ttl字段为Number类型
                        item.put("ttl", AttributeValue.builder().n(String.valueOf(ttlNum)).build());
                        PutRequest putReq = PutRequest.builder().item(item).build();
                        writeReqs.add(WriteRequest.builder().putRequest(putReq).build());
                    } catch (NumberFormatException e) {
                        // 处理无效的ttl值，比如记录日志
                        System.err.printf("无效的TTL值，主键：%s，值：%s%n", 
                                item.get(primaryKey).s(), ttlAttr.s());
                    }
                }
            }

            // 批量提交更新请求
            if (!writeReqs.isEmpty()) {
                BatchWriteItemRequest batchReq = BatchWriteItemRequest.builder()
                        .requestItems(Map.of(targetTable, writeReqs))
                        .build();
                BatchWriteItemResponse batchResp = dynamoDbClient.batchWriteItem(batchReq);

                // 重试未处理的请求
                while (!batchResp.unprocessedItems().isEmpty()) {
                    batchReq = BatchWriteItemRequest.builder()
                            .requestItems(batchResp.unprocessedItems())
                            .build();
                    batchResp = dynamoDbClient.batchWriteItem(batchReq);
                }
            }

            lastEvaluatedKey = scanResp.lastEvaluatedKey() != null ? 
                    dynamoDbClient.serializeAttributeValue(scanResp.lastEvaluatedKey()) : null;
        } while (lastEvaluatedKey != null);
    }

    public static void main(String[] args) {
        new TTLFieldFixer().startFixing();
    }
}

2. DynamoDB Streams + Lambda的Java实现（方案C） #

这个Lambda函数可以实时修正新写入的ttl字段：

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.RequestHandler;
import com.amazonaws.services.lambda.runtime.events.DynamodbEvent;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClientBuilder;
import com.amazonaws.services.dynamodbv2.model.PutItemRequest;

public class StreamTTLHandler implements RequestHandler<DynamodbEvent, Void> {
    private final AmazonDynamoDB dynamoDb = AmazonDynamoDBClientBuilder.defaultClient();
    private final String tableName = "你的表名";

    @Override
    public Void handleRequest(DynamodbEvent event, Context context) {
        event.getRecords().forEach(record -> {
            var newImage = record.getDynamodb().getNewImage();
            if (newImage == null || !newImage.containsKey("ttl")) return;

            var ttlAttr = newImage.get("ttl");
            if (ttlAttr.getS() != null) {
                try {
                    long ttlNum = Long.parseLong(ttlAttr.getS());
                    newImage.put("ttl", new com.amazonaws.services.dynamodbv2.model.AttributeValue().withN(String.valueOf(ttlNum)));
                    dynamoDb.putItem(new PutItemRequest(tableName, newImage));
                } catch (NumberFormatException e) {
                    context.getLogger().log("无效TTL值：" + ttlAttr.getS());
                }
            }
        });
        return null;
    }
}

3. 关键注意事项 #

• 备份优先：在执行任何大规模数据修改前，一定要先备份表（点-in-time恢复或导出到S3），防止数据丢失；
• 容量控制：用Guava的RateLimiter等工具限制请求速率，避免超出表的读写容量；
• 错误处理：一定要捕获转换失败的记录，记录日志后单独处理，不要让整个任务中断；
• TTL启用：修复完成后，记得在DynamoDB控制台启用TTL功能，选择正确的Number类型字段。

内容的提问来源于stack exchange，提问作者user2279337