如何在FastAPI异步函数中用数据库实现跨实例持久化缓存？

方案1：基于Redis的分布式异步缓存（最推荐） #

Redis天生支持分布式共享，且有成熟的异步客户端aioredis，完全适配FastAPI的异步环境。你可以选择两种方式实现：

• 直接用现成的FastAPI缓存库：比如fastapi-cache2，它内置了Redis异步后端，开箱即用。只需配置Redis连接，给调用OpenAI的接口函数加上@cache()装饰器，就能自动处理缓存的读写、过期逻辑，多实例共享同一个Redis实例即可实现缓存同步。
• 手动实现缓存逻辑：
  1. 安装aioredis：pip install aioredis
  2. 创建Redis异步客户端实例，在FastAPI启动时初始化
  3. 编写缓存工具函数：调用OpenAI前，先根据请求参数生成唯一cache_key（比如把prompt、model、temperature等参数序列化后哈希），从Redis查询；如果命中直接返回结果，未命中则调用OpenAI，再把结果存入Redis并设置过期时间。

方案2：基于异步数据库的持久化缓存 #

如果需要把缓存存在数据库里，可以用支持异步的数据库（比如PostgreSQL+asyncpg）：

• 创建缓存表，字段至少包含：cache_key（字符串主键，存储请求参数的哈希值）、result（JSON类型，存储OpenAI返回结果）、expire_at（时间戳，记录缓存过期时间）
• 编写异步的缓存操作函数：查询时先判断expire_at是否大于当前时间，未过期则返回结果；写入时计算过期时间并存入数据。
• 在调用OpenAI的逻辑中，先查缓存表，无有效缓存再调用接口并写入。

方案3：支持异步的文件系统缓存（适合共享存储场景） #

如果你的多实例挂载了同一个共享存储（比如NAS），可以用diskcache的异步版本（v5+支持asyncio）：

• 安装diskcache：pip install diskcache
• 初始化异步缓存实例：from diskcache import AsyncCache，指定共享存储的路径作为缓存目录
• 用法和async_lru类似，但缓存数据存在共享磁盘上，多实例可以共同访问。不过这种方式性能不如Redis，且依赖共享存储的可靠性，适合对性能要求不高的场景。

关键注意事项 #

• 缓存键要唯一：必须包含所有影响OpenAI返回结果的参数（比如prompt、model、temperature、max_tokens等），可以用hashlib把参数序列化后的字符串生成哈希值作为键，避免键过长。
• 设置合理的过期时间：根据业务需求设置缓存有效期，比如几小时到几天，避免缓存过期导致结果过时，同时减少Redis/数据库的存储压力。
• 降级处理：当缓存服务（Redis/数据库）不可用时，要直接调用OpenAI接口，避免缓存故障导致业务中断。

内容的提问来源于stack exchange，提问作者CutePoison