查询数据超1MB时，AWS DAX的分页机制及性能优化建议

一、DAX 针对超1MB数据的分页机制 #

DAX的分页逻辑基于DynamoDB核心机制，但结合了缓存层特性：

• 当单次查询返回数据超过1MB时，DAX会返回LastEvaluatedKey标记，客户端需携带这个键发起后续请求，才能获取剩余分页数据。
• 如果DAX缓存中已存储完整的分页数据集，后续分页请求会直接从缓存读取；若缓存仅存部分数据，DAX会先从DynamoDB拉取剩余部分，同时将新获取的分页数据更新到缓存中。
• 注意：DAX单条缓存条目上限为1MB，因此超1MB的数据集会被拆分为多个独立缓存条目，每个条目对应一页数据，共享相同缓存键前缀加分页标识。

二、超1MB数据场景下的性能优化建议 #

• 拆分大对象存储：将超1MB的大数据拆分为多个小条目，用「主键+排序键」组合存储（比如主键保留原查询键，排序键用segment-1、segment-2这类分段ID）。这样单次查询可仅获取所需分段，减少单次传输量，DAX也能更高效缓存每个小条目。
• 用投影表达式精简返回数据：如果不需要读取完整对象，通过ProjectionExpression指定仅返回必要属性，把单次返回数据控制在1MB以内，从根源避免分页。
• 优化DAX缓存策略：
  • 确保开启DAX查询缓存（默认开启），让分页请求的后续页直接命中缓存，减少回源DynamoDB的次数。
  • 根据数据更新频率调整缓存TTL（生存时间）：数据更新越慢，TTL可设得越长，避免频繁缓存失效。
• 客户端侧优化：
  • 实现并行分页请求：如果业务逻辑允许，客户端可同时发起多个基于LastEvaluatedKey的分页请求，提升整体数据获取速度。
  • 本地缓存高频分段：对频繁访问的大对象分段，在客户端本地做二级缓存，减少对DAX的重复请求。
• 调整DAX集群配置：
  • 增加DAX节点内存容量，确保有足够空间存储拆分后的多个缓存条目，避免因缓存淘汰导致频繁回源。
  • 选择高内存型DAX节点，更适合存储大量缓存数据，提升缓存命中率。

内容的提问来源于stack exchange，提问作者Lakshmi