如何降低GridDB Cloud高频写入场景下的写入延迟？

背景 #

我正在开展一个IoT项目，需要从数千台设备收集实时传感器数据，每台设备每秒发送一次新读数，目标是尽可能高效地将数据插入GridDB Cloud。我使用TimeSeries容器存储数据，容器定义如下：

ContainerInfo containerInfo = new ContainerInfo(
    "sensor_data",
    Arrays.asList(
        new ColumnInfo("device_id", GSType.STRING),
        new ColumnInfo("timestamp", GSType.TIMESTAMP),
        new ColumnInfo("temperature", GSType.DOUBLE),
        new ColumnInfo("humidity", GSType.DOUBLE)
    ),
    true // 设置为TimeSeries容器
);
gridstore.putContainer(containerInfo);

当前问题 #

当每秒写入数千条数据时，写入延迟开始上升，甚至出现写入超时或失败。我当前的单条写入简化代码如下：

TimeSeries<Void> ts = gridstore.getTimeSeries("sensor_data", Void.class);

Row row = ts.createRow();
row.setString(0, "sensor_001");
row.setTimestamp(1, new Timestamp(System.currentTimeMillis()));
row.setDouble(2, 22.5);
row.setDouble(3, 55.0);

ts.put(row);

如果循环对多传感器执行此代码，写入性能会随写入量增加显著下降。

已尝试的优化方案 #

• 批量写入：改用multiPut批量插入，性能有提升，但高负载下延迟仍会增加：

List<Row> rows = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
    Row r = ts.createRow();
    r.setString(0, "sensor_" + i);
    r.setTimestamp(1, new Timestamp(System.currentTimeMillis()));
    r.setDouble(2, Math.random() * 30);
    r.setDouble(3, Math.random() * 100);
    rows.add(r);
}
ts.multiPut(rows);

• 并行写入：尝试多线程并行插入，但偶尔会触发GSException: Timeout错误。

咨询问题 #

在GridDB Cloud的高频写入场景下，如何进一步降低写入延迟？有没有特定的配置调整、事务优化手段或大规模场景下的最佳实践，能维持低延迟的写入性能？

优化建议 #

1. 调整批量写入的批次大小

当前使用的1000条批次并非固定最优值，建议测试2000、5000等不同批次规模，找到适配你场景的最优值。同时注意：

• 避免单批次过大导致内存占用过高或单次请求超时
• 确保批次内的timestamp按时间有序，TimeSeries容器对有序写入有专门优化

2. 优化并行写入的线程数与超时配置

多线程写入出现超时，大概率是线程数超出GridDB Cloud的连接限制或服务端处理上限：

• 控制客户端线程数：建议线程数不超过服务端节点数的4-8倍（比如2节点集群，线程数控制在8-16之间）
• 调整客户端超时参数：在创建GridStore连接时，增大事务与语句超时时间，避免服务端处理批量数据时触发超时：

GridStoreFactory factory = GridStoreFactory.getInstance();
Properties props = new Properties();
props.setProperty("notificationAddress", "xxxxx");
props.setProperty("notificationPort", "31999");
props.setProperty("clusterName", "xxxxx");
props.setProperty("user", "admin");
props.setProperty("password", "xxxxx");
// 调整超时时间，单位毫秒
props.setProperty("transactionTimeout", "30000");
props.setProperty("statementTimeout", "30000");
GridStore gridstore = factory.getGridStore(props);

3. 配置TimeSeries容器的时间分区

GridDB的TimeSeries容器支持按时间自动分片，创建容器时指定时间分区间隔，让数据分散到多个分片，减少写入锁竞争：

ContainerInfo containerInfo = new ContainerInfo(
    "sensor_data",
    Arrays.asList(
        new ColumnInfo("device_id", GSType.STRING),
        new ColumnInfo("timestamp", GSType.TIMESTAMP),
        new ColumnInfo("temperature", GSType.DOUBLE),
        new ColumnInfo("humidity", GSType.DOUBLE)
    ),
    true // TimeSeries容器
);
// 设置时间分区间隔为1小时（可根据数据量调整为15分钟、1天等）
containerInfo.setTimePartitionInterval(3600);
gridstore.putContainer(containerInfo);

不同时间段的数据会被分配到不同分片，多线程写入不同时间段数据时不会产生竞争，能大幅提升写入吞吐量。

4. 关闭不必要的事务保证

如果IoT场景允许最终一致性（不需要强实时读一致性），可以关闭写入的事务机制：

• 使用multiPut时传入false参数，跳过事务日志同步步骤：

// 批量写入时关闭事务，提升性能
ts.multiPut(rows, false);

该操作会显著降低写入延迟，但需注意：若写入失败，部分数据可能无法持久化，需要客户端实现重试逻辑。

5. 优化客户端连接池

避免频繁创建和销毁GridStore连接，通过连接池复用连接减少开销：

props.setProperty("maxPoolSize", "20"); // 最大连接数
props.setProperty("minPoolSize", "5"); // 最小空闲连接数
props.setProperty("poolTimeout", "30000"); // 连接池获取连接超时

6. 按设备或时间分组写入

将同一device_id或同一时间段的数据分到同一个批次，GridDB对同分区的批量写入有性能优化，能减少跨分片的写入开销。

内容的提问来源于stack exchange，提问作者Ahmed Ben Khelifa