AlloyDB并行测试克隆数据库时num blocks cache内存不足问题咨询

根本原因 #

• AlloyDB的num-blocks-cache是数据库级独立缓存，并非实例全局共享。每个克隆出来的数据库都会拥有自己的缓存空间，哪怕实例总内存还有剩余，单个数据库的缓存配额也可能被耗尽。
• 克隆数据库时会一次性把模板库的大量数据块加载到缓存，短时间批量创建克隆库会快速打满目标数据库的缓存额度，直接触发内存溢出错误。
• 缓存耗尽后，后续的autovacuum任务或新的创建操作会持续访问缓存，自然会重复抛出相同错误。

解决与避免方法 #

• 调整缓存参数：修改实例级的shared_buffers参数，或者针对单个数据库调整work_mem、maintenance_work_mem，给blocks缓存预留足够空间。注意AlloyDB的参数需要通过控制台的数据库参数组进行配置。
• 分批创建克隆库：不要一次性并行创建大量数据库，每次创建2-3个后等待数分钟，让缓存有时间释放或刷新，再继续下一批创建。
• 精简模板库：先清理模板库的冗余数据、大表，比如执行VACUUM FULL和ANALYZE压缩数据库体积，减少克隆时需要加载到缓存的数据量。
• 使用轻量模板：如果测试只需要表结构不需要数据，创建一个仅包含schema的空模板库，避免带大量数据的模板带来的缓存压力。
• 监控缓存占用：通过以下SQL查询每个数据库的缓存使用情况，提前发现问题：

  SELECT datname, count(*) AS cached_blocks
  FROM pg_buffercache JOIN pg_database ON pg_buffercache.relfilenode = pg_database.relfilenode
  GROUP BY datname;
  

内容的提问来源于stack exchange，提问作者mrzasa