Python跨实例缓存大型数据结构且保留类型的分布式缓存方案咨询

首先澄清常见误解：Redis和Memcached并非只能存储字符串，二者的value本质是二进制字节流，可直接存入序列化后的二进制数据，无需转成可读字符串，不会产生额外的字符串解析开销。以下是适配你技术栈的可选方案：

方案1：Redis + Apache Arrow 原生序列化（最适配当前技术栈） #

这是和你现有Arrow Feather、Vaex技术栈兼容性最高的方案，全程零类型转换损耗：

• 序列化全程基于Arrow原生协议，100%保留原始Feather文件加载的数据类型，无需任何手动类型适配
• 写入缓存逻辑：将Vaex处理后的嵌套数值数组/数据集直接导出为Arrow对象，调用serialize()方法生成二进制字节流，直接以用户ID为key存入Redis的String类型即可
• 读取缓存逻辑：直接取出Redis中存储的字节流，调用Arrow的deserialize()方法直接还原为Arrow对象，可直接传入Vaex进行后续处理，全程无字符串解析步骤
• 适配大数据量：Redis默认单value最大支持512MB，若你的单用户数组超过该阈值，只需修改Redis配置中的proto-max-bulk-len参数到对应大小即可

方案2：Redis + MsgPack 序列化（轻量低依赖） #

如果你不想额外引入Arrow序列化依赖，可选择MsgPack的NumPy扩展实现轻量序列化：

• MsgPack原生支持嵌套数值结构、NumPy数组的序列化与反序列化，保留所有数值类型，序列化速度是JSON的10倍以上，输出直接为二进制字节流，无字符串转义开销
• 序列化后的字节流同样直接存入Redis即可，读写性能接近Arrow方案

方案3：共享目录存Feather的简化优化 #

如果你暂时不想引入独立缓存服务，可优化原有共享目录方案降低维护成本：

• 无需手动清理会话文件：可以借助tempfile模块创建绑定会话生命周期的临时文件，也可以通过FastAPI的shutdown事件、atexit钩子实现会话结束自动清理，还可以配置服务器的tmpfiles.d规则自动删除超过指定时长的过期文件，大幅降低手动维护成本

内容的提问来源于stack exchange，提问作者afriedman111