MongoDB迁移至DynamoDB：如何提升数据写入效率？

我之前帮团队做过MongoDB到DynamoDB的大规模迁移，太懂这种“读得飞快、写得像蜗牛”的痛苦了！结合我的实战经验，给你梳理几个核心优化方向，再聊聊语言选择的问题：

这些是不换语言也能立竿见影的操作：

• 拉满批量写入的有效批次：你现在用25条批量，但要注意DynamoDB的BulkWrite单批次最多支持25个请求，先检查返回结果里有没有UnprocessedItems！很多人忽略这个，DynamoDB会因为限流或其他原因返回未处理的条目，如果不重试，相当于实际写入量打了折扣，这是最常见的坑。一定要在代码里加重试逻辑，把UnprocessedItems循环提交，直到全部处理完。
• 解决写入热点问题：你说已经把写入容量设到10000WCU但还是慢，大概率是Partition Key分布不均匀导致的热点！DynamoDB的WCU是按分区分配的，如果你的PK太集中（比如都是同一个前缀、或者自增ID开头的连续值），就算总WCU设得再高，单个分区的上限也会卡住写入速度。临时解决方案：给PK加个随机后缀，比如原来的PK是user_123，改成user_123#rand(0-9)，这样写入会分散到多个分区，迁移完成后再通过扫描去掉后缀（如果业务允许的话）。或者直接切换到On-Demand模式，它会自动扩容分区，比Provisioned模式更适合突发的迁移场景。
• 减少数据转换的开销：读3秒写100秒，中间的BSON转DynamoDB AttributeValue的过程肯定占了不少时间。不要手动循环解析每个字段，用SDK自带的批量转换工具！比如PHP的AWS SDK里有Marshaler类，能直接把数组转成DynamoDB的格式，比自己写循环高效得多。

不是说PHP不行，而是Node和Python的异步/并行模型天生更适配批量写入：

• Node.js：异步IO模型完美契合批量请求场景，用AWS SDK v3的batchWriteItem配合p-limit这类库控制并发数（比如同时发20个批量请求），效率比PHP的同步IO高很多。而且Node的单线程异步开销比PHP的多进程小很多，资源利用率更高。
• Python：用boto3的batch_writer，它会自动帮你处理UnprocessedItems的重试，不用自己写重试逻辑。配合multiprocessing或者asyncio做并行，很容易把写入速度拉上去。另外，Python生态里有不少现成的迁移工具框架，能省不少自己造轮子的时间。
• 如果实在不想换语言：PHP可以试试用Guzzle的异步请求发送BulkWrite，或者用Swoole扩展做异步处理，不过Swoole的学习成本有点高，不如直接换语言来得快。

如果你的数据量特别大（比如几亿条），自己写脚本就算优化到极致也慢，那直接用AWS的官方工具：

• AWS DMS（Database Migration Service）：专门做数据库迁移的托管服务，支持MongoDB到DynamoDB的直接迁移，速度比自己写脚本快N倍，而且不用自己维护服务器和脚本。只需要配置源端点（MongoDB）和目标端点（DynamoDB），设置好数据类型映射就能跑起来。
• AWS Data Pipeline：可以自定义迁移流程，适合有特殊数据转换需求的场景，比如迁移过程中要过滤、加工数据。

最后总结下优先级：先检查UnprocessedItems重试和热点问题，这两个是最容易解决的；然后优化数据转换逻辑；如果还不够，再考虑换语言做并行；数据量超大的话直接上DMS。

内容的提问来源于stack exchange，提问作者tomyates