开启TTL的GridDB时序容器并发插入出现行键冲突问题

我正在测试将智能电网电表读数以高吞吐量写入开启TTL（生存时间）设置的GridDB时序容器，多个工作线程近实时插入同一电表的记录。尽管每条插入的时间戳都是唯一的，但仍偶现行键冲突。

表结构 #

CREATE TABLE MeterReadings (
meter_id STRING,
ts TIMESTAMP PRIMARY KEY,
watts DOUBLE
) WITH (TIMESERIES, EXPIRATION_TIME = INTERVAL '7' DAY);

写入代码（Java客户端片段） #

GridStore store = GridStoreFactory.getInstance().getGridStore(props);
Container<?> cont = store.getContainer("MeterReadings");
for (Reading r : batch) {
Row row = cont.createRow();
row.setString(0, r.meterId);
row.setTimestamp(1, r.timestamp);  // 每条记录的时间戳唯一
row.setDouble(2, r.watts);
cont.put(row); // 多线程调用此方法
}

观察到的错误（堆栈跟踪） #

com.toshiba.mwcloud.gs.RowKeyConflictException: 
    (TQL/GS error) Row key conflict
        at com.toshiba.mwcloud.gs.GridStore.put(GridStore.java:452)
        at com.example.ingest.BatchWorker.run(BatchWorker.java:118)
Caused by: com.toshiba.mwcloud.gs.GSException:
    [140015: Row key conflict occurred while updating container]

已尝试操作 #

• 验证所有工作线程的ts值均唯一；
• 添加synchronized块并切换至putRows()批量API，仍出现相同错误；
• 移除TTL的(EXPIRATION_TIME)子句后，冲突消失。

核心问题 #

为何开启EXPIRATION_TIME后，即使使用唯一时间戳，并发插入仍会间歇性触发RowKeyConflictException？是否存在TTL清理与put()之间的竞态条件？需要调整容器设计（如分区或行键策略）或特定Java客户端配置来避免吗？

根本原因：TTL清理与写入的竞态冲突 #

GridDB开启TTL后，后台会定期执行过期数据清理任务。当清理线程正在处理某段时间戳范围的记录时，若写入线程恰好插入该范围内的新记录，就可能触发行键冲突——清理操作会暂时锁定相关数据分区或行键范围，此期间GridDB内部元数据可能出现短暂不一致，导致误判为行键重复。

另外，时序容器启用TTL时会按时间分片管理数据，清理操作会对旧分片进行删除或重组，如果写入操作恰好命中正在被清理的分片边界，也会触发冲突。

解决方案 #

1. 调整TTL清理周期
   修改GridDB的expirationInterval配置参数，延长清理任务的执行间隔，减少与写入操作的冲突概率，注意平衡数据过期效率与写入稳定性。

2. 优化容器分区策略
   按meter_id对时序容器进行哈希分区，将不同电表的数据分散到不同分区。这样TTL清理仅影响部分分区，不会阻塞所有写入请求，降低冲突概率。修改表结构如下：

   CREATE TABLE MeterReadings (
   meter_id STRING,
   ts TIMESTAMP PRIMARY KEY,
   watts DOUBLE
   ) WITH (TIMESERIES, EXPIRATION_TIME = INTERVAL '7' DAY, PARTITION BY HASH(meter_id, 64));
   

   其中64为分区数，可根据实际数据量调整。

3. 添加冲突重试逻辑
   针对RowKeyConflictException添加重试机制，捕获异常后短暂等待再重新插入，由于冲突是间歇性的，重试通常能解决问题：

   int retryCount = 3;
   long retryDelayMs = 100;
   for (Reading r : batch) {
       boolean success = false;
       int attempt = 0;
       while (!success && attempt < retryCount) {
           try {
               Row row = cont.createRow();
               row.setString(0, r.meterId);
               row.setTimestamp(1, r.timestamp);
               row.setDouble(2, r.watts);
               cont.put(row);
               success = true;
           } catch (RowKeyConflictException e) {
               attempt++;
               try {
                   Thread.sleep(retryDelayMs);
               } catch (InterruptedException ie) {
                   Thread.currentThread().interrupt();
                   throw new RuntimeException(ie);
               }
           }
       }
       if (!success) {
           // 处理重试失败，如记录日志
       }
   }
   

4. 批量写入按时间戳排序
   使用putRows()批量写入时，先将批次内记录按ts升序排序。GridDB对有序批量写入的处理效率更高，也能减少与TTL清理的冲突概率。

内容的提问来源于stack exchange，提问作者Jeremiah Wafula