DynamoDB URL关联关键词存储场景下按关键词查询的可行方案咨询

你之前提到的两个方案都有明显的适用局限：全表扫描的成本、延迟会随数据量增长线性上升，规模稍大就完全不可用；关键词作为分区键的倒排表方案写入放大过高，单个页面提取N个关键词就要写N条数据，必然拖慢爬虫Lambda的执行效率。

根据你的使用场景，可以选择以下更适配的方案：

方案1：服务端过滤并行扫描（适用中小规模、低查询频率场景） #

• 不需要修改现有表结构，也不用引入额外组件
• 查询时调用DynamoDB的Scan接口，直接在请求参数的FilterExpression中使用contains(keywords, :target_keyword)做服务端过滤，不需要把全表数据拉到客户端遍历匹配
• 数据量较大时可以开启并行扫描，将全表拆分为多个分片同时查询，大幅降低查询延迟
• 注意：该方案按扫描的数据量计费，查询频率低、数据量小于10万条的场景下，成本远低于引入额外服务的方案

方案2：DynamoDB集成无服务器开放搜索（适用大规模、高QPS、低延迟要求场景） #

• 完全不需要修改现有爬虫Lambda的写入逻辑，不会影响爬虫运行速度
• 给DynamoDB表开启DynamoDB Streams，配置托管规则自动将表的增删改变更同步到OpenSearch Serverless（AWS原生无服务器开放搜索服务）
• 在OpenSearch中给关键词字段配置倒排索引，查询时直接调用OpenSearch的检索接口，毫秒级返回所有匹配关键词的URL列表
• 整个同步、检索流程全托管，不需要自己维护中间件，可用性和性能都有保障

方案3：异步写入优化倒排表（适用不想引入额外检索组件的场景） #

• 保留你原来的倒排表结构，但是把写入逻辑从爬虫Lambda中剥离：
  • 爬虫Lambda只写入主URL表，写入完成后将提取到的<关键词, URL>映射关系批量发送到SQS队列即可返回，不会增加爬虫的执行耗时
  • 单独配置一个异步消费Lambda，批量拉取SQS队列中的数据写入倒排表
• 查询时直接请求倒排表即可获得结果，同时完全不影响爬虫的运行性能，仅牺牲秒级的最终一致性，绝大多数场景下都可接受

内容的提问来源于stack exchange，提问作者Usama Ali