如何通过每日定时任务批量删除Datastore中超过2天的实体？

绝对不是最优方案——全表扫描1亿+个实体对性能、成本和耗时来说都是灾难级的操作。下面是更高效的替代方案，以及为什么全扫不可取的原因：

为什么全表扫描不可取？ #

• 成本极高：Datastore按读取操作计费，全扫会读取所有1亿+实体，哪怕其中90%都不符合过期条件，这会产生大量不必要的费用。
• 耗时过长：遍历亿级数据可能远超Cron Job的执行时限（通常Cron Job单次运行有时间限制，比如10分钟或更短），导致任务无法完成。
• 资源占用大：全扫会占用大量的Datastore读取配额，可能影响其他业务的正常运行。

最优方案：利用索引+分批批量删除 #

核心思路是通过索引查询直接定位过期实体的键，而非遍历全量数据，再分批次执行删除操作。

1. 确保epoch字段有索引 #

Datastore默认会为单属性字段创建索引（除非你在实体类中显式禁用）。如果之前没建索引，需要在index.yaml中添加以下配置：

indexes:
- kind: MyEntity
  properties:
  - name: epoch

部署这个索引后，查询epoch < cutoff的效率会大幅提升，直接从索引中拉取符合条件的键，而非扫描全表。

2. 分批查询+删除的代码示例 #

使用游标（cursor）分页查询过期实体的键，每次批量删除一定数量的键（避免单次操作过载）：

import time
from google.cloud import ndb

# 你的实体类定义
class MyEntity(ndb.Model):
    created_date = ndb.DateTimeProperty(auto_now_add=True)
    epoch = ndb.IntegerProperty()
    sent_requests = ndb.JsonProperty()

def cleanup_old_entities():
    client = ndb.Client()
    # 计算2天前的epoch时间戳
    cutoff_epoch = int(time.time()) - 2 * 86400
    # 每次处理的键数量，根据Datastore限制和业务情况调整（建议1000以内）
    batch_size = 1000
    cursor = None

    with client.context():
        while True:
            # 查询符合条件的实体键，使用游标分页
            query = MyEntity.query(MyEntity.epoch < cutoff_epoch)
            keys, cursor, has_more = query.fetch_keys(limit=batch_size, start_cursor=cursor)

            if not keys:
                print("没有更多过期实体需要删除")
                break

            # 批量删除键对应的实体
            ndb.delete_multi(keys)
            print(f"已删除 {len(keys)} 个过期实体")

            if not has_more:
                break

3. 额外优化建议 #

• Cron Job频次调整：如果过期实体数量极大，单次Cron Job无法处理完，可以设置Cron Job每小时运行一次，而非每日一次，逐步清理存量数据。
• 监控与日志：添加详细的日志记录每次删除的数量、耗时等信息，方便监控清理进度和排查问题。
• 利用created_date替代（可选）：如果epoch和created_date是一一对应的，也可以用created_date进行查询（同样需要索引），比如MyEntity.created_date < datetime.datetime.now() - datetime.timedelta(days=2)，效果类似。

总结 #

扫描全量实体是最糟糕的选择，利用索引精准定位过期实体的键，再分批批量删除才是处理亿级数据的最优方案——既节省成本，又能保证任务高效完成。

内容的提问来源于stack exchange，提问作者vkb