适用于磁盘存储的高效数据结构选型及实现方案咨询

现有方案的优化方向 #

你的内存映射+分块存储思路已经贴合核心需求，这里可以做几个关键优化进一步提升性能：

• Key索引优化：
  • 若Key是整数，直接用数组下标映射Key到偏移量，避免哈希或遍历查找；
  • 若Key是字符串，将Key和偏移量存储为Numpy结构化数组（dtype=[('key', 'U256'), ('offset', 'int64')]），内存映射后可直接用Numpy的np.searchsorted或哈希表快速定位目标Key的偏移量，比手动遍历效率高得多。
• Date存储优化：
  • 将所有日期转换为整数（比如自1970-01-01以来的天数）存储，而非字符串或日期对象，这样二分查找、范围判断的效率会大幅提升，且Numpy对整数数组的操作是原生C级别的速度。
• Value存储优化：
  • 若Value类型统一，直接用对应Numpy dtype存储；若类型多样，可将Value序列化为字节数组（用pickle或自定义序列化），存储为Numpy的bytes类型，读取后再反序列化，避免用object类型带来的性能损耗。

替代成熟存储方案 #

如果不想手动实现文件布局，以下两种方案能完美匹配你的需求，且无需重复造轮子：

HDF5（搭配PyTables或h5py） #

• 存储结构：将数据按Key分组，每个组内存储按Date（整数格式）排序的结构化数组（dtype=[('date', 'int64'), ('value', ...)]），并给Date字段建立索引。
• 读取性能：
  1. 全量读取：直接遍历所有分组，将数据合并为Numpy数组，PyTables的批量读取效率极高；
  2. 指定Key读取：直接定位到对应分组，一次性加载该Key的所有(Date, Value)数据；
  3. 带回溯的批量查询：对输入的(Key, Date)对按Key分组，每个Key对应的Date数组用np.searchsorted快速找到最近的不超过目标日期且在容忍范围内的记录，最后通过原始索引恢复输入顺序——PyTables支持内存映射，避免全量加载数据到内存。

Parquet（搭配PyArrow） #

• 存储结构：采用列式存储，按Key分区，每个分区内的Date字段排序，并给Key和Date建立索引。
• 读取性能：
  • 支持谓词下推，读取指定Key或日期范围时无需加载全量数据；
  • PyArrow可直接将Parquet数据转换为Numpy数组，速度接近原生内存操作；
  • 针对第三种查询，可利用PyArrow的分组计算能力，快速处理每个Key的日期回溯查找，再通过原始索引恢复顺序。

第三种查询的专项优化 #

针对你提到的带回溯、需保持输入顺序的查询，可做以下优化：

1. 预处理输入：给每个输入的(Key, Date)对记录原始索引，将输入按Key分组，同一Key的日期按升序排列；
2. 快速查找：对每个Key对应的已排序Date数组，用np.searchsorted找到第一个大于目标日期的位置，往前遍历找到最近的在容忍天数内的记录；
3. 恢复顺序：将查询结果按原始索引排序，用Numpy的argsort实现，比手动排序效率高一个数量级。

为什么不选SQLite？ #

你的判断是对的：SQLite在处理第三种查询时，需要为每个(Key, Date)对构建查询，且模糊回溯逻辑需要额外的SQL语句处理，性能远低于预排序+内存映射的本地存储方案；同时，SQLite无法直接输出Numpy数组，需要额外的类型转换步骤，进一步降低效率。

内容的提问来源于stack exchange，提问作者user157545