如何高效存储DynamoDB表中的唯一分区键列表？

方案一：专用DynamoDB索引表 #

• 创建一张单独的DynamoDB表（比如命名为UniquePartitionKeys），将原表的分区键作为这张表的唯一主键，确保无重复。
• 向原表写入记录时，同步向这张索引表执行PutItem操作，设置ConditionExpression为attribute_not_exists(partition_key)，仅当分区键不存在时才写入，自动实现去重。
• 后续获取唯一分区键列表时，直接对这张索引表执行Scan——由于这张表的数据量远小于原表，Scan的性能开销完全可控。

方案二：Redis集合存储 #

• 利用Redis的Set数据结构，它天然支持元素唯一性特性。
• 写入原表时，调用Redis的SADD命令将分区键加入集合，该命令会自动忽略已存在的元素。
• 获取唯一分区键列表时，直接调用SMEMBERS命令即可快速返回所有元素，性能表现优异。
• 若需持久化，可开启Redis的RDB或AOF持久化机制；若业务允许少量数据丢失，也可结合DynamoDB Streams做增量同步，避免全量Scan原表。

方案三：DynamoDB Streams异步同步 #

• 开启原表的DynamoDB Streams，捕获所有写入、更新操作事件。
• 用Lambda函数监听Stream事件，提取事件中的分区键，异步同步到上述的专用索引表或Redis集合中。
• 这种方式能解耦主写入流程和去重存储逻辑，避免主流程被阻塞，同时保证数据最终一致性。

关于S3存储方案的优化建议 #

• 不建议直接修改单个JSON/TXT文件，因为S3的文件更新是全量覆盖模式，高并发场景下极易出现冲突或数据丢失。
• 可改为按分区键哈希分片存储：将分区键按哈希值拆分到多个文件中，每个文件存储一部分唯一分区键。写入时先用S3 Select快速查询目标分片文件是否存在该键，不存在则追加或更新分片；也可开启S3版本控制避免覆盖冲突，但这种方式复杂度较高，性能不如前面的方案。

内容的提问来源于stack exchange，提问作者shoumik