Firestore多whereIn限制下的百万级题库多条件查询方案咨询

我用Dart/Flutter搭配cloud_firestore: ^4.17.5开发getQuestions方法，方法接收以下可空参数（含多个多选生成的列表）：

String? creatorUserId;
String? type;
bool? isAnnulled;
String? statement;
List<String>? examCompanyIds;
List<String>? institutionIds;
List<String>? disciplineIds;
List<String>? topicIds;
List<String>? positionIds;
List<String>? educationFieldIds;
List<String>? regionIds;
List<String>? areaIds;
List<String>? scholarityIds;
List<String>? difficultyIds;
List<String>? yearIds;
DateTime? createdAtStart;
DateTime? createdAtEnd;
int limit;

需要基于这些参数查询Firestore的questions集合，但Firestore不支持多个whereIn条件。如果先按limit查询再本地过滤，会导致结果偏差；移除limit又会因为百万级数据带来极高性能损耗。现有查询逻辑示例如下：

Query query = _firestore.collection('questions');

// 添加普通过滤条件
if (params.creatorUserId != null) {
 query = query.where('creatorUserId', isEqualTo: params.creatorUserId);
}

// [...] 更多普通过滤条件

// 添加whereIn过滤条件
if(params.examCompanyIds.isNotEmpty) {
  query = query.where('examCompany.uid', whereIn: params.examCompanyIds);
}

// [...] 更多whereIn过滤条件

final result = query.limit(params.limit).get();

注：共有6个普通where参数，11个whereIn列表参数，且questions集合已做数据反规范化。请问该场景下最佳实现方案是什么？应该用客户端处理还是Cloud Functions？

一、优先优化客户端查询策略（低成本适配Firestore规则） #

Firestore限制最多1个whereIn条件，核心思路是用高区分度的whereIn参数缩小数据集，剩余条件本地过滤：

1. 选区分度最高的whereIn参数做主过滤
   先统计各列表参数的可选值数量（比如difficultyIds可选值少、区分度高；yearIds可选值多、区分度低），优先用高区分度的参数做whereIn，再给查询结果多取一倍数据作为本地过滤的冗余，避免最终结果不足limit数量。示例代码：

Query query = _firestore.collection('questions');

// 先处理所有普通where条件
if (params.creatorUserId != null) {
  query = query.where('creatorUserId', isEqualTo: params.creatorUserId);
}
if (params.type != null) {
  query = query.where('type', isEqualTo: params.type);
}
// ... 其他普通条件

// 优先用区分度最高的whereIn参数（比如difficultyIds）
if (params.difficultyIds?.isNotEmpty == true) {
  query = query.where('difficultyId', whereIn: params.difficultyIds);
}

// 多取一倍数据留作本地过滤冗余
final snapshot = await query.limit(params.limit * 2).get();

// 本地过滤剩余的whereIn条件
final filteredDocs = snapshot.docs.where((doc) {
  bool matches = true;
  // 过滤examCompanyIds
  if (params.examCompanyIds?.isNotEmpty == true) {
    matches = matches && params.examCompanyIds!.contains(doc['examCompany.uid']);
  }
  // 过滤institutionIds
  if (params.institutionIds?.isNotEmpty == true) {
    matches = matches && params.institutionIds!.contains(doc['institution.uid']);
  }
  // ... 其他剩余的whereIn条件
  return matches;
}).take(params.limit).toList();

2. 结合复合索引优化范围查询
   如果有createdAtStart/createdAtEnd这类范围条件，优先和普通where条件组合创建复合索引，把范围条件放在查询最后，进一步缩小初始数据集，减少本地过滤的数据量。

二、Cloud Functions处理复杂查询（适合高并发/大数据场景） #

如果必须同时使用多个高区分度的whereIn条件，用Cloud Functions做中间层拆分查询：

1. 批量拆分+并行查询+结果合并
   把多个whereIn条件拆分成多个单whereIn的Firestore查询，并行执行后去重、取limit数量结果。示例（Node.js Cloud Functions）：

exports.getFilteredQuestions = functions.https.onCall(async (data, context) => {
  const { params } = data;
  const firestore = admin.firestore();
  let baseQuery = firestore.collection('questions');

  // 先处理所有普通where条件
  if (params.creatorUserId) {
    baseQuery = baseQuery.where('creatorUserId', '==', params.creatorUserId);
  }
  // ... 其他普通条件

  // 拆分多个whereIn查询任务
  const queryPromises = [];
  if (params.examCompanyIds?.length) {
    queryPromises.push(baseQuery.where('examCompany.uid', 'in', params.examCompanyIds).get());
  }
  if (params.institutionIds?.length) {
    queryPromises.push(baseQuery.where('institution.uid', 'in', params.institutionIds).get());
  }
  // ... 其他whereIn条件的查询任务

  // 并行执行所有查询
  const snapshots = await Promise.all(queryPromises);
  // 用docId去重合并结果
  const uniqueDocs = new Map();
  snapshots.forEach(snapshot => {
    snapshot.docs.forEach(doc => {
      uniqueDocs.set(doc.id, doc.data());
    });
  });
  // 取指定limit数量的结果
  const result = Array.from(uniqueDocs.values()).slice(0, params.limit);
  return result;
});

Flutter端调用Callable Function：

final HttpsCallable callable = FirebaseFunctions.instance.httpsCallable('getFilteredQuestions');
final results = await callable.call({
  'params': {
    'creatorUserId': creatorUserId,
    'examCompanyIds': examCompanyIds,
    // ... 其他参数
  }
});

这种方式在服务器端处理复杂逻辑，避免客户端拉取大量数据，适合百万级数据的多维度过滤场景。

三、客户端全量过滤（仅小数据量兜底） #

如果数据量不大（比如几万条），或用户很少同时用多个whereIn条件，可以直接拉取满足普通where条件的全量数据，再在客户端做过滤。但这种方式不适合百万级数据，会导致性能和带宽问题。

• 大部分场景优先用客户端优化查询策略，开发成本低，性能能满足需求；
• 频繁用到多维度whereIn过滤且数据量庞大时，选择Cloud Functions，转移复杂计算到服务器端。

内容的提问来源于stack exchange，提问作者Emílio Nicoletti