Python动态CSV高效存储与价格更新下篮子价值计算优化问题

背景与数据说明 #

我有两个CSV文件：

1. 杂货篮子组成CSV：存储不同杂货篮子的组成，支持嵌套结构（如FRUITS包含2份POME FRUITS和1份STONE FRUITS），内容如下：

NAMES,QUANTITY

POME FRUITS,
APPLE,100
PEAR,200

STONE FRUITS,
APRICOT,50

FRUITS,
STONE FRUITS,1
POME FRUITS,2

2. 价格变动CSV：存储各成分的价格演变记录，内容如下：

NAME,PRICE

AAPLE,2
PEAR,3
APRICOT,1
PEAR,4

需求说明 #

每当成分价格变动时，需要计算每个篮子的实时价值，输出示例如下：

NAMES,VALUE

AAPLE,2
PEAR,3
POME FRUITS,800
APRICOT,1
STONE FRUITS,50
FRUITS,850
PEAR,4
POME FRUITS,1000
FRUITS,1050

当前实现与痛点 #

目前将篮子组成CSV转换为含Category、Constituents、Quantity列的DataFrame存储，但考虑到数据量可达数千行，希望找到更高效的存储方式。

当前刷新篮子价值时，会全量读取价格CSV并存入DataFrame，数据量增大后效率不足，核心问题有两个：

1. 如何仅读取价格CSV中的新增行，避免每次全量读取？
2. 现有通过字典存储成分类型与当前价值的方式，存在嵌套篮子价值存储（占内存）与重复计算（耗时间）的矛盾，有没有兼顾速度与内存的高效处理方案？

解决方案 #

1. 仅读取价格CSV新增行的实现 #

• 记录读取位置：维护一个元数据文件（如price_read_metadata.json），存储上次读取的文件字节偏移量、最后一条记录的内容（可选）。每次启动或刷新时，先读取该元数据，用文件操作的seek()方法定位到上次结束的位置，读取新增内容。
• 处理文件大小变化：先获取价格CSV的当前文件大小，与元数据中记录的上次大小对比，计算新增字节数，确保只读取新增部分。
• 避免行截断：读取新增内容到缓冲区后，按行分割，检查最后一行是否完整（是否包含分隔符、符合CSV格式），如果不完整，将这部分暂存到下次处理，确保每次读取的都是完整的行。
• 无唯一标识的兼容：如果价格CSV没有时间戳或自增ID，字节偏移量是最可靠的位置标记；如果有唯一标识，也可以用最后一条记录的标识作为参考，结合偏移量方式实现高效读取。

2. 嵌套篮子价值的高效计算（兼顾速度与内存） #

• 构建依赖关系图：
  • 正向依赖：记录每个篮子的直接成分及对应数量（如FRUITS依赖STONE FRUITS(1)和POME FRUITS(2)）
  • 反向依赖：记录每个成分被哪些篮子依赖（如PEAR被POME FRUITS依赖，POME FRUITS又被FRUITS依赖）
• 基础成分+失效缓存机制：
  • 仅存储基础成分（非篮子）的当前价格到字典中，不预先计算所有篮子的价值
  • 给每个篮子维护一个"失效标记"：当某个基础成分价格变动时，通过反向依赖链标记所有间接依赖的篮子为失效状态
  • 当需要获取篮子价值时，若标记为失效，则递归计算其所有直接成分的价值（基础成分直接取价格，失效篮子递归计算），更新缓存并清除失效标记；若未失效则直接返回缓存值
• 拓扑排序优化计算：
  • 对所有篮子按依赖层级排序（基础成分层级为0，一级篮子层级为1，二级为2…）
  • 当基础成分价格变动时，按层级从低到高依次计算失效篮子的价值，确保每个成分只计算一次，避免重复递归
• 内存优化：
  • 对低频查询的篮子，可设置缓存过期时间，定期清理冷缓存；高频查询的篮子保持缓存
  • 若篮子结构固定，可预先编译依赖计算逻辑（如用函数或表达式存储），减少计算时的动态解析开销

内容的提问来源于stack exchange，提问作者user11798649