GAE Datastore多数据写入性能优化求助：千级账户写入过慢

针对你在跨组事务下批量写入数千个share实体耗时过长的问题，结合你无法修改数据模型的限制，给出以下具体优化方案：

1. 拆分大跨组事务为多个小事务，通过任务队列异步处理 #

当前你的XG事务包含数千个独立实体组（每个share都是单独的实体组），而Datastore的跨组事务性能随参与实体组数量的增加急剧下降。你可以：

• 将数千个share拆分为多个批次，每个批次控制在20-25个实体（匹配XG事务的实体组数量最优上限）；
• 创建一个job实体记录任务总数量、已完成数量和状态；
• 将每个批次的写入任务放入App Engine任务队列，每个任务处理一批share的XG事务写入，并更新job的进度；
• 前端页面通过轮询job实体的状态，向用户展示实时进度，避免长时间等待的糟糕体验。
  这个方案能避开任务队列1MB限制（每个批次数据量远小于阈值），同时将大事务拆分为多个高效的小事务，大幅降低总耗时。

2. 禁用ndb的缓存与memcache，减少事务内额外开销 #

在put_multi或put_multi_async调用中明确禁用缓存，因为事务内的缓存机制不会带来性能收益，反而会增加不必要的处理开销：

# 写入时禁用缓存和memcache
yield ndb.put_multi_async(entities, use_cache=False, use_memcache=False)

同时确保在事务上下文内关闭自动缓存，可通过ndb.Context设置：

with ndb.Context(auto_cache=False, use_memcache=False):
    # 事务内的写入操作

3. 精简事务内的不必要操作 #

检查当前事务流程，移除所有非必需的步骤：

• 避免在事务内读取account或interest实体，如果share的key属性可以直接通过现有key对象设置，无需先读取实体；
• 确保interest实体的写入（如果需要）放在事务外完成（若业务允许），减少事务内的操作数量；
• 清理事务内的日志、调试输出等额外操作，减少CPU消耗。

4. 优化Datastore索引配置 #

过多的索引会大幅增加写入耗时，你可以：

• 登录GAE控制台，查看share实体的索引列表；
• 删除所有未被查询使用的冗余索引（例如某些仅用于调试、从未出现在查询条件中的属性索引）；
• 确保index.yaml仅保留必要的复合索引，避免自动创建不必要的单属性索引。

5. 调整ndb的批量写入参数 #

尝试调整put_multi的批量大小，结合Datastore的RPC优化：

• 测试将批次大小设置为50-100（在拆分事务的前提下），匹配Datastore的批量RPC处理最优值；
• 使用ndb.put_multi替代多次单个put，确保合并为最少的RPC调用。

内容的提问来源于stack exchange，提问作者Khaled