为何用ingestion_time过滤时QuestDB仍访问所有表分区？

你的表指定了timestamp作为指定时间列（designated timestamp），并基于该列按日分区。QuestDB的分区裁剪功能仅对指定时间列生效——当查询过滤条件针对的是另一时间列（如你的ingestion_time）时，数据库无法通过分区键快速定位目标数据范围，只能扫描所有分区来筛选符合条件的记录，这就是查询缓慢且打开大量无关分区的核心原因。

根据业务场景，你可以选择以下几种优化方案：

1. 将ingestion_time设为指定时间列（推荐，若业务允许） #

如果ingestion_time是你查询时更常用的时间过滤维度，可重建表并将其设为指定时间列，以此触发分区裁剪：

-- 创建新表，指定ingestion_time为时间列并按日分区
CREATE TABLE 'trades_new' (
  symbol SYMBOL,
  side SYMBOL,
  price DOUBLE,
  amount DOUBLE,
  timestamp TIMESTAMP,
  ingestion_time TIMESTAMP
) timestamp (ingestion_time) PARTITION BY DAY WAL;

-- 迁移原表数据至新表（数据量极大时建议分批次或用批量工具操作）
INSERT INTO trades_new SELECT * FROM trades;

-- 按需替换原表（根据业务流程调整）
ALTER TABLE trades RENAME TO trades_old;
ALTER TABLE trades_new RENAME TO trades;

后续针对ingestion_time的范围查询将自动触发分区裁剪，仅扫描目标时间范围内的分区，大幅提升查询速度。

2. 关联指定时间列缩小分区范围 #

若无法修改表结构，且ingestion_time与timestamp存在可预判的时间关联（比如数据入库时间不会比业务时间timestamp晚/早超过N天），可在查询中同时添加timestamp的范围过滤，先通过分区裁剪缩小扫描范围：

SELECT ingestion_time, count() from trades
-- 添加timestamp范围过滤，覆盖ingestion_time对应的所有可能分区
WHERE timestamp BETWEEN '2023-12-28' AND '2024-02-03'
  AND ingestion_time BETWEEN '2024-01' AND '2024-02'
SAMPLE BY 1d

timestamp的范围可根据业务实际情况调整，只要能覆盖ingestion_time对应的所有分区即可，数据库会先跳过不符合timestamp范围的分区，再在剩余分区中筛选ingestion_time数据。

3. 为ingestion_time创建索引 #

若上述方案均不可行，可尝试为ingestion_time创建索引加速筛选：

CREATE INDEX idx_ingestion_time ON trades(ingestion_time);

注意：索引会增加数据写入的开销，且数亿行的大表创建索引耗时较长，需在业务低峰期操作。

内容的提问来源于stack exchange，提问作者Nick Woolmer