DynamoDB多对多单表设计：查询分组及关联元素并优化查询方式

问题背景 #

我们使用AWS DynamoDB实现多对多关系的groups与elements模型，采用单表设计，当前表结构如下：

需要解决两个问题：

1. 如何获取所有标记为“x”的条目（所有分组及其元素关联关系）？
2. 如何修改表结构，用Query替代Scan来高效获取这些行？

一、当前结构下获取标记“x”条目的方法 #

当前表没有专门的索引区分目标条目，只能通过Scan操作实现：

• 利用partitionKey的前缀特征，添加过滤条件筛选出以urn:nid:group:开头的条目（标记x的条目要么是分组自身，要么是分组与元素的关联，它们的partitionKey都符合这个前缀）。
• 以下是Python SDK的示例代码：

import boto3

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table('你的表名')

# 初始化查询
response = table.scan(
    FilterExpression='begins_with(partitionKey, :prefix)',
    ExpressionAttributeValues={':prefix': 'urn:nid:group:'}
)
target_items = response['Items']

# 处理分页结果
while 'LastEvaluatedKey' in response:
    response = table.scan(
        FilterExpression='begins_with(partitionKey, :prefix)',
        ExpressionAttributeValues={':prefix': 'urn:nid:group:'},
        ExclusiveStartKey=response['LastEvaluatedKey']
    )
    target_items.extend(response['Items'])

二、修改表结构用Query替代Scan的方案 #

Query比Scan高效得多（避免全表扫描），核心是给目标条目设计可被Query匹配的分区键或全局二级索引（GSI），以下是几种可行方案：

方案1：新增类型属性+全局二级索引 #

• 给每个条目添加item_type属性：
  • 分组实体、分组-元素关联实体的item_type设为group_related
  • 元素实体的item_type设为element
• 创建全局二级索引，配置：
  • GSI分区键：item_type
  • GSI排序键：可沿用原表的sortKey，或自定义为entity_id
• 使用Query时，直接指定GSI的分区键值为group_related，就能精准获取所有标记x的条目，无需扫描全表。

方案2：重构分区键命名规则 #

• 重新设计分区键和排序键的格式，让分组相关条目有统一的识别特征：
  • 分组实体：partitionKey = GROUP#1，sortKey = GROUP#1
  • 分组-元素关联：partitionKey = GROUP#1，sortKey = ELEMENT#1
  • 元素实体：partitionKey = ELEMENT#1，sortKey = ELEMENT#1
• 创建GSI，将entity_category设为分区键（分组相关条目填GROUP，元素填ELEMENT），然后Query GSI的分区键GROUP即可获取所有目标条目。
• 若不想建GSI，也可以先获取所有分组ID，再批量Query每个分组的partitionKey（如GROUP#1），最后合并结果，但这种方式依赖已知分组ID列表。

方案3：固定分区键存储分组相关实体 #

• 将所有分组实体和关联关系的partitionKey设为固定值（比如ALL_GROUP_ENTITIES），排序键用GROUP#1、GROUP#1#ELEMENT#1这种格式区分不同条目
• 直接QuerypartitionKey = ALL_GROUP_ENTITIES就能一次性获取所有标记x的内容，但要注意：当分组数量极大时，这个分区会成为热点，可能影响性能，适合中小规模场景。

内容的提问来源于stack exchange，提问作者simon.ro