Node.js SDK+Lambda环境下DynamoDB两表共有数据比对实现

核心实现逻辑 #

DynamoDB原生不支持跨表查询与比对，实现全量共有数据提取的最优路径为内存级集合匹配，避免多次跨表调用带来的延迟与成本：

• 并行拉取两张目标表的全量有效记录，自动处理Scan操作的分页返回逻辑，避免单次调用遗漏数据
• 以记录的全字段拼接值为匹配键构建哈希索引，降低后续比对的时间复杂度，把O(n²)的嵌套比对优化为O(n)的单次遍历
• 遍历第二张表的记录，匹配索引中存在的相同键值，收集得到最终的共有数据集合

前置配置要求 #

• Lambda执行角色需具备两张表的dynamodb:Scan、dynamodb:GetItem操作权限，权限范围收敛到对应表名，遵循最小权限原则
• 依赖使用AWS SDK v3版本的@aws-sdk/client-dynamodb、@aws-sdk/lib-dynamodb，避免旧版SDK的序列化兼容问题
• 针对大表场景预留足够的Lambda执行超时时间与内存配置，保证全表扫描的耗时不会触发Lambda中断

核心代码实现 #

import { DynamoDBClient } from "@aws-sdk/client-dynamodb";
import { DynamoDBDocumentClient, ScanCommand } from "@aws-sdk/lib-dynamodb";

const ddbClient = new DynamoDBClient({ region: "你的部署区域" });
const docClient = DynamoDBDocumentClient.from(ddbClient);

// 封装分页全表扫描逻辑，自动拉取所有分页返回的记录
async function scanFullTable(tableName) {
  let collectedRecords = [];
  let startKey = undefined;
  do {
    const resp = await docClient.send(new ScanCommand({
      TableName: tableName,
      ExclusiveStartKey: startKey
    }));
    collectedRecords = collectedRecords.concat(resp.Items ?? []);
    startKey = resp.LastEvaluatedKey;
  } while(startKey);
  return collectedRecords;
}

export const lambdaHandler = async (event) => {
  try {
    // 并行拉取两张表的全量记录，缩短总等待时间
    const [users1All, users2All] = await Promise.all([
      scanFullTable("users1"),
      scanFullTable("users2")
    ]);

    // 构建users1的记录匹配索引，以全字段拼接值为键
    const users1Index = new Map();
    users1All.forEach(item => {
      // 拼接全字段作为匹配键，严格校验记录内容一致性
      const matchKey = [item.ID, item.name, item.rollno].join("||");
      users1Index.set(matchKey, item);
    });

    // 匹配两表的共有记录
    const commonRecords = [];
    users2All.forEach(item => {
      const matchKey = [item.ID, item.name, item.rollno].join("||");
      if (users1Index.has(matchKey)) {
        commonRecords.push(users1Index.get(matchKey));
      }
    });

    return {
      statusCode: 200,
      data: commonRecords
    };
  } catch (error) {
    return {
      statusCode: 500,
      errorMsg: error.message
    };
  }
};

运行结果验证 #

针对题目给出的初始表数据：

• users1表存储2条记录：{ID:"First-4", name:"First", rollno:4}、{ID:"Second-2", name:"Second", rollno:2}
• users2表存储2条记录：{ID:"First-4", name:"First", rollno:4}、{ID:"Fourth-2", name:"Fourth", rollno:2}
  代码执行后会自动过滤仅在单表存在的差异记录，最终返回的共有数据与业务预期完全匹配，即仅包含{ID:"First-4", name:"First", rollno:4}这一条记录。

场景优化提示 #

• 若单表数据量超过10万条，不建议直接使用全表Scan方式，可将其中一张表的主键集合通过Scan导出后，用BatchGetItem批量拉取另一张表的对应记录做匹配，大幅降低读容量消耗
• 若业务仅需要按主键ID判断记录存在性，不需要校验全字段一致性，可直接用ID值作为匹配键，省去字段拼接的开销
• 超大规模表的比对场景，可结合DynamoDB S3导出功能做离线批量比对，避免Lambda执行超时

内容的提问来源于stack exchange，提问作者Rajarshi Das