同过滤条件下ProjectionEntityQuery正常，KeyQuery超时问题咨询

现象 #

我有一个实体类型K，带有索引时间戳字段T。想要查询所有满足t < X（t为字段T的值，X为指定时间戳）的实体键：

• 执行Keys-Only查询时，出现超时错误：

Query timed out. Please try either limiting the entities scanned, or run with an updated index configuration.

• 执行相同过滤条件的投影查询（同时返回字段T的值）时，却能正常运行，重复多次结果一致。

代码实现 #

过滤条件代码 #

Timestamp timestampX = Timestamp.of(X); // 例如X="今日0点"
PropertyFilter filterLt = PropertyFilter.lt("T", timestampX);

Keys-Only查询代码 #

KeyQuery keyQuery = Query.newKeyQueryBuilder()
    .setKind("K").setFilter(filterLt).build();
QueryResults<Key> queryResults = datastore.run(keyQuery);
while (queryResults.hasNext()) {
    Key key = queryResults.next();
    // ... 处理逻辑
}

投影查询代码 #

ProjectionEntityQuery projectionEntityQuery = Query.newProjectionEntityQueryBuilder()
    .setKind("K").setProjection("T").setFilter(filterLt).build();
QueryResults<ProjectionEntity> queryResults = datastore.run(projectionEntityQuery);
while (queryResults.hasNext()) {
    ProjectionEntity projectionEntity = queryResults.next();
    // ... 处理逻辑
}

背景信息 #

• 实体类型K共有330万个实体，字段T的值集中在6小时范围内（约每秒150个实体），我清楚这是反模式。
• 业务场景：T是"lastUpdated"时间戳，需要每天更新所有实体，由多个并行进程负责更新（更新时会将T设为当前时间戳）。为确保未正常更新的实体能被后续进程处理，通过上述查询获取需要更新的实体键。
• 当前使用Google Firestore in Datastore Mode，该问题是在自动从Datastore迁移到Firestore in Datastore Mode后出现的。

核心疑问 #

除了寻求修正该反模式的方案，我想知道：为什么投影查询正常，但Keys-Only查询会超时？我原本认为两者的内部实现几乎一致。

一、两类查询表现差异的原因 #

Firestore Datastore模式对Keys-Only查询和投影查询的执行逻辑存在以下差异：

1. 索引利用策略不同
   投影查询指定了T作为投影字段，会直接复用K类型下T字段的单属性索引，从索引条目里直接提取T值和实体键，无需回查实体存储层，执行路径更稳定。
   而Keys-Only查询虽然理论上也能使用同一索引，但Firestore Datastore模式对这类查询的内部优化逻辑不同——当结果集量级极大时，Keys-Only查询的结果遍历、批量传输逻辑可能未做针对性优化，甚至会触发更严格的超时阈值校验。
2. 结果集处理机制差异
   看似更轻量的Keys-Only查询，在Firestore的底层处理中，可能因为元数据校验、分页逻辑的特殊性，在处理百万级结果时的资源消耗反而高于投影查询；而投影查询的结果结构（包含T和键）更适配当前索引的批量加载逻辑，执行效率更高。
3. 迁移后的索引兼容性问题
   从旧Datastore迁移到Firestore Datastore模式后，索引的底层存储和查询引擎有变更，旧Datastore对Keys-Only查询的优化逻辑在新环境下未完全适配，而投影查询的索引利用逻辑兼容性更好。

二、反模式修正方案 #

针对T字段值高度集中的问题，结合业务需求（每日全量更新、找回未更新实体），可采用以下方案：

• 拆分时间区间查询：将t < X的大时间范围拆分为多个小区间（比如按小时拆分），分批次执行Keys-Only查询，降低单次查询的结果集规模。
• 引入分片策略：将实体按键的哈希值、自定义分片键等维度拆分到多个子类型或分片中，每个分片单独查询并并行处理。
• 替换时间戳查询逻辑：
  • 给实体添加updateBatch字段，标记当日更新批次号，查询时直接过滤updateBatch != 今日批次的实体，避免依赖高度集中的lastUpdated时间戳。
  • 采用“标记-清除”模式：更新前给实体标记临时状态，后续查询未标记的实体，完成更新后清除标记。
• 游标分页查询：通过游标分批获取结果，避免一次性加载大量数据，示例代码如下：

  KeyQuery keyQuery = Query.newKeyQueryBuilder()
      .setKind("K").setFilter(filterLt).setLimit(1000).build();
  QueryResults<Key> queryResults;
  Cursor cursor = null;
  do {
      if (cursor != null) {
          keyQuery = keyQuery.toBuilder().setStartCursor(cursor).build();
      }
      queryResults = datastore.run(keyQuery);
      while (queryResults.hasNext()) {
          Key key = queryResults.next();
          // 处理逻辑
      }
      cursor = queryResults.getCursorAfter();
  } while (queryResults.hasNext() || cursor != null);
  

内容的提问来源于stack exchange，提问作者DerKeil