优化Firebase Realtime Database搜索：现有方案过慢求高效改进

问题描述 #

我的Firebase Realtime Database数据结构如下：

data
    userId
        tests1
            id1
            id2
        tests2
            id3
            id4

我有一组ID数组，需要检查这些ID是否存在于data/userId/tests1或data/userId/tests2节点中。如果ID在两个节点都不存在，就把它加入resultFilteredUsers数组。当前实现运行过慢，寻求更高效的解决办法。

当前代码如下：

async function filter(userId: String, testIdsArray:string[]) {
    
        var filteredUsersSet1: string[] = []
        var resultFilteredUsers: string[] = []
    
        var db = FirebaseAdmin.database()
        var ref1 = db.ref("data/" + userId + "/tests1/")
        var ref2 = db.ref("data/" + userId + "/tests2/")
    
        await Promise.all(
            testIdsArray.map(id => {
                return ref1.child(id).once('value')
                  .then(snapshot => {
                    if (!snapshot.exists()){
                        filteredUsersSet1.push(id)
                    }
                    return snapshot;
                  }).catch((error: any) => {
                      logger.error("Error");
                    });
                })
            )
    
        await Promise.all(
            filteredUsersSet1.map(id => {
                return ref2.child(id).once('value')
                .then(snapshot => {
                    if (!snapshot.exists()){
                        resultFilteredUsers.push(id)
                    }
                    return snapshot;
                  }).catch((error: any) => {
                      logger.error("Error");
                    });
                })
            )
        return resultFilteredUsers;
    }

高效解决方案 #

你的代码性能瓶颈在于每个ID都发起了单独的数据库请求，Firebase Realtime Database的单请求开销不容小觑，批量拉取数据再本地处理才是最优路径。下面的方案只需要2次数据库请求，就能完成所有ID的校验：

async function filter(userId: string, testIdsArray: string[]) {
    const db = FirebaseAdmin.database();
    const userRef = db.ref(`data/${userId}`);

    // 一次性拉取tests1的所有ID并转成Set
    const tests1Snapshot = await userRef.child('tests1').once('value');
    const tests1Ids = new Set(tests1Snapshot.exists() ? Object.keys(tests1Snapshot.val()) : []);

    // 一次性拉取tests2的所有ID并转成Set
    const tests2Snapshot = await userRef.child('tests2').once('value');
    const tests2Ids = new Set(tests2Snapshot.exists() ? Object.keys(tests2Snapshot.val()) : []);

    // 本地筛选：不在两个集合中的ID直接返回
    return testIdsArray.filter(id => !tests1Ids.has(id) && !tests2Ids.has(id));
}

优化细节 #

• 大幅减少请求量：从原来的「ID数组长度 + 第一轮筛选后数量」次请求，降到固定2次，彻底消除了网络请求的性能损耗。
• 用Set提升查询效率：Set.has()的时间复杂度是O(1)，比数组的includes()（O(n)）快得多，当ID数量较多时优势尤为明显。
• 简化逻辑结构：去掉了冗余的临时数组和两次循环，代码更简洁，也降低了出错概率。

如果你的tests1/tests2节点数据量极大（比如数万条以上），一次性拉取可能存在内存压力，此时可以考虑分片拉取数据，或者调整数据结构（比如把两个节点合并成一个existingTests集合），但绝大多数业务场景下，上述方案已经足够高效。

内容的提问来源于stack exchange，提问作者marsuser