如何高效删除GridDb TimeSeries中的指定数据行？

问题背景 #

现有GridDB时序集合Wind，结构为[Date, speed, direction]，包含以下数据：

Wind[date='Thu Aug 29 19:40:17 CEST 2024', speed=25, direction=80]
Wind[date='Thu Aug 29 19:40:18 CEST 2024', speed=-1, direction=-1]
Wind[date='Thu Aug 29 19:40:19 CEST 2024', speed=70, direction=102]
Wind[date='Thu Aug 29 19:40:20 CEST 2024', speed=51, direction=125]

需要删除其中speed=-1且direction=-1的数据行，已尝试**查询筛选后逐行调用timeseries.remove()**的方式，想知道是否存在更高效的批量删除方案。

当前方案的局限性 #

你当前实现的逐行删除代码是可行的，但针对大数据量场景，多次单独调用删除接口会产生较多IO开销，效率较低：

try (var windSeries = store.getTimeSeries("wind", Wind.class);
    var rowset = windSeries.query("select * where direction=-1").fetch()
) {
     while (rowset.hasNext()) {
        var wind = rowset.next();
        windSeries.remove(wind.date);
    }
}

最优实现方案 #

GridDB目前不支持通过TQL的DELETE语句直接批量删除时序数据，所以你期望的delete * where ...写法暂时无法实现。但可以通过以下方式优化删除效率：

1. 优化查询+批量删除（推荐） #

如果你的GridDB版本支持TimeSeries.removeAll()方法（GridDB 4.0及以上版本提供），可以先查询出所有需要删除的主键（date字段），再一次性批量删除，减少IO交互次数：

try (var windSeries = store.getTimeSeries("wind", Wind.class);
     // 仅查询需要删除的date字段，减少数据传输量
     var rowset = windSeries.query("select date where speed=-1 and direction=-1").fetch()) {
    List<Date> targetDates = new ArrayList<>();
    while (rowset.hasNext()) {
        Wind wind = rowset.next();
        targetDates.add(wind.date);
    }
    // 批量删除目标数据
    windSeries.removeAll(targetDates);
}

2. 低版本兼容优化（无批量删除API时） #

如果使用的GridDB版本不支持批量删除，可优化查询语句，仅获取date字段而非整行数据，减少网络传输和内存开销，再逐行删除：

try (var windSeries = store.getTimeSeries("wind", Wind.class);
     var rowset = windSeries.query("select date where speed=-1 and direction=-1").fetch()) {
     while (rowset.hasNext()) {
        Wind wind = rowset.next();
        windSeries.remove(wind.date);
    }
}

关键说明 #

• GridDB的时序数据模型以时间戳（date）作为主键，删除操作必须基于主键执行；
• 目前TQL语法仅支持SELECT查询，暂未提供DELETE/UPDATE类的写操作语句；
• 批量删除相比逐行删除，在数据量较大时能显著提升执行效率。

内容的提问来源于stack exchange，提问作者Anthony Raymond