Node.js下无需全量遍历DynamoDB实现去重计数

核心思路：预计算+辅助表+增量维护 #

DynamoDB不支持原生去重聚合查询，要规避全表扫描开销，必须把去重计数的工作前置到数据写入/更新阶段，通过辅助表预存唯一标识，查询阶段直接读取预计算结果。

1. 构建去重辅助表 #

创建专门的辅助表（例如UniqueCountTable），结构设计聚焦去重逻辑：

• 主键（Partition Key）：用你需要去重的字段（如user_id、order_no）作为分区键；若需按多维度统计（如日期+用户），可使用复合分区键（如2024-05#user_123）
• 属性：仅保留一个占位符属性（如exists: true），无需存储额外数据——主键本身就是去重后的唯一标识，我们只需要统计主键的数量

2. 写入/更新数据时同步维护辅助表 #

在主表写入、更新或删除数据时，通过**DynamoDB事务操作（TransactWriteItems）**同步维护辅助表，确保数据一致性：

• 新增主表数据：向辅助表写入对应唯一键（用PutItem，幂等特性会自动忽略重复键）
• 删除主表数据：先检查主表中该唯一键是否还有剩余条目，确认无剩余后再从辅助表删除对应键（用条件表达式实现）

示例代码片段（Python）：

import boto3

dynamodb = boto3.client('dynamodb')

def sync_unique_table(main_table_item, unique_key):
    transact_items = [
        # 写入主表
        {
            'Put': {
                'TableName': 'MainTable',
                'Item': main_table_item
            }
        },
        # 写入辅助表（仅当键不存在时执行，避免重复存储）
        {
            'Put': {
                'TableName': 'UniqueCountTable',
                'Item': {
                    unique_key['key']: unique_key['value'],
                    'exists': {'BOOL': True}
                },
                'ConditionExpression': 'attribute_not_exists(#pk)',
                'ExpressionAttributeNames': {'#pk': unique_key['key']}
            }
        }
    ]
    dynamodb.transact_write_items(TransactItems=transact_items)

3. 高效获取全局去重计数 #

直接读取辅助表的Item Count元数据即可——这是DynamoDB自动维护的统计值，无需扫描或查询，零开销：

def get_global_unique_count(table_name):
    response = dynamodb.describe_table(TableName=table_name)
    return response['Table']['ItemCount']

4. 支持过滤表达式的定向去重计数 #

如果需要按条件过滤统计（如某时间段内的去重用户数），可以：

1. 把过滤维度嵌入辅助表的主键（如2024-05#user_123）
2. 用Query操作匹配对应主键前缀，通过Select: COUNT直接获取计数

示例代码：

def get_filtered_unique_count(date_prefix):
    response = dynamodb.query(
        TableName='UniqueCountTable',
        KeyConditionExpression='begins_with(#pk, :prefix)',
        ExpressionAttributeNames={'#pk': 'date_user_id'},
        ExpressionAttributeValues={':prefix': {'S': date_prefix}},
        Select='COUNT'
    )
    return response['Count']

5. 一致性与扩展性保障 #

• 原子性：所有主表与辅助表的操作必须通过事务执行，避免数据不一致
• 存量数据迁移：对历史数据批量去重后导入辅助表（用BatchWriteItem，注意去重逻辑），再开启增量同步
• 拆分扩缩容：若唯一键基数极大（亿级），可按维度（如月份）拆分辅助表，避免单表过大
• 多维度统计：给辅助表创建全局二级索引（GSI），通过GSI的Item Count或Query COUNT实现多维度去重计数
• 定期校验：每周抽样对比辅助表计数与主表实际去重计数，确保数据准确性

内容的提问来源于stack exchange，提问作者Anish Kumar Mohanty