分区数据库大表无法载入内存时的行删除方案咨询

当分区数据量过大、无法一次性载入内存时，可以通过以下分批次/细粒度处理方式实现行删除：

1. 按细分维度分批处理 #

不加载整个日期分区，而是按更细的维度（如小时、特定字段区间）拆分数据，逐批操作：

• 先提取细分维度的唯一值，比如按小时拆分：

  hours: select distinct hour from db.tab where date=2024.01.01
  

• 循环遍历每个细分单元，加载对应数据并处理：

  {
    tab: select from db.tab where date=2024.01.01, hour=x;
    tab: delete from tab where <删除条件>;
    save[`:temp/db/2024.01.01/hour_$x; tab]
  } each hours`hour
  

• 所有批次处理完成后，将临时目录的文件替换原分区对应数据

2. 标记+过滤重写方案 #

借助标记列实现分步删除，避免全量加载：

• 用dbmaint新增临时标记列：

  dbmaint[`:db;`tab;`addcol;(`toDelete;`boolean;0b)]
  

• 定位待删除行并标记（此操作无需全量加载，kdb+会分区执行）：

  update toDelete:1b from db.tab where <删除条件>
  

• 分批次过滤掉标记行并保存：

  {
    batch: select from db.tab where date=x, not toDelete;
    save[`:new_db/x; batch]
  } each distinct select date from db.tab
  

• 验证数据无误后替换原分区，最后删除标记列：

  dbmaint[`:db;`tab;`delcol;`toDelete]
  

3. 反向导出保留数据 #

若待删除行占比极小，可直接导出需保留的数据来替换原分区：

• 分批次导出符合保留条件的数据到临时分区：

  save[`:temp/db/2024.01.01; select from db.tab where date=2024.01.01, <保留条件>]
  

• 确认临时数据完整后，替换原分区目录（操作前务必备份原数据）

注：dbmaint.q确实仅支持列级修改，大分区的行级操作核心思路是拆分数据块，避免全量加载，通过分批处理实现目标。

内容的提问来源于stack exchange，提问作者Ciaran