如何从大型KDB序列化文件加载数据子集？或转换为splayed表

序列化单表文件（通过set命令生成的单个文件）无法直接在磁盘上执行条件过滤，必须全量加载到内存才能处理，这就是你执行查询时内存耗尽崩溃的原因。以下是两种可行的解决方案：

方案一：分批处理现有大序列化表（无需全量加载） #

如果暂时不想转换表格式，可以通过内存映射（mmap）读取文件，分批提取符合条件的数据，避免一次性加载全量内容：

1. 映射文件到内存：

fd: hopen `:/tmp/meteo;
m: mmap[fd;0;hcount fd]; / 将整个文件映射到内存空间
hclose fd;

2. 读取表元数据，确定数据起始位置：

meta: first deserialize m; / 获取表的结构元数据
dataStart: 8 + count serialize meta; / 计算数据区起始偏移（8字节为kdb+文件头长度）

3. 分批反序列化并过滤数据：

batchSize: 100000; / 根据可用内存调整批次大小
result: ([] calendarDay:(); ...); / 提前定义与原表结构一致的结果表

offset: dataStart;
while[offset < count m;
    / 按行指针字节数（每行4字节）截取批次数据
    block: m[offset + til min[batchSize*4; count m - offset]];
    rows: deserialize block;
    filtered: select from rows where calendarDay >= 2025.01.01;
    result: result upsert filtered;
    offset: offset + count serialize rows;
];

注意：若原表包含嵌套表、字典等复杂类型，需调整批次读取逻辑适配序列化格式。

方案二：转换为splayed表（推荐长期方案） #

splayed表按列存储在磁盘目录中，kdb+可直接在磁盘上执行条件查询，无需全量加载内存，是处理大数据的标准方式。转换及后续操作步骤如下：

步骤1：分批读取原表并写入splayed表 #

避免全量加载崩溃，用mmap分批读取原表数据，逐批写入splayed表：

/ 创建splayed表目录并初始化空表
`:tmp/meteo_splayed set .Q.en[`:tmp/meteo_splayed] ([]);

/ 映射原序列化文件
fd: hopen `:/tmp/meteo;
m: mmap[fd;0;hcount fd];
hclose fd;

meta: first deserialize m;
dataStart: 8 + count serialize meta;
batchSize: 100000;

offset: dataStart;
while[offset < count m;
    block: m[offset + til min[batchSize*4; count m - offset]];
    rows: deserialize block;
    / 写入splayed表，自动按列拆分存储
    .Q.dpft[`:tmp/meteo_splayed; `calendarDay; rows]; / 可选：按calendarDay字段分区，进一步优化查询效率
    offset: offset + count serialize rows;
];

步骤2：直接查询splayed表 #

转换完成后，执行条件查询时kdb+只会加载符合条件的列和数据行，不会耗尽内存：

select from `:/tmp/meteo_splayed where calendarDay >= 2025.01.01

步骤3：优化后续数据写入 #

以后新增数据时，直接upsert到splayed表，无需全量覆盖：

`:tmp/meteo_splayed upsert 0!newbatch;

若数据量持续增长，可升级为日期分区表，查询时仅加载指定日期范围的分区数据，效率更高：

/ 创建分区表目录
`:tmp/meteo_parted set .Q.en[`:tmp/meteo_parted] ([]);
/ 写入新批次时自动按calendarDay分区
.Q.dpft[`:tmp/meteo_parted; `calendarDay; newbatch];
/ 查询时自动筛选目标分区
select from `:/tmp/meteo_parted where calendarDay >= 2025.01.01

内容的提问来源于stack exchange，提问作者Hiruma