嵌入式QuestDB的TableWriter是否线程安全？如何实现并行存储？

首先明确核心结论：QuestDB的TableWriter并非线程安全类，不支持多线程同时调用newRow()、append()、commit()等方法，你当前在并行流中直接共享同一个TableWriter实例的写法是报错的根本原因。

正确的并行优化方案 #

针对你的场景，推荐两种可行的并行化实现思路：

方案1：并行做数据预处理，单线程批量写入 #

QuestDB单表写入本身是高性能的，写入过程的瓶颈通常不在数据落盘，而在数据格式转换、时间解析等预处理步骤。你可以把预处理逻辑放在并行流中执行，所有预处理完成后再单线程批量写入，既用到了多核并行能力，又规避了TableWriter的并发安全问题，同时还能减少commit次数提升写入性能。
示例实现代码：

import java.util.Objects;
import java.util.List;
import java.util.stream.Collectors;

SqlExecutionContextImpl ctx = new SqlExecutionContextImpl(engine, 1);
// 第一步：并行完成所有数据解析、转换，生成可直接写入的中间对象
List<PreparedRow> prepared = tickerData.parallelStream().map(r -> {
    try {
        Instant i = r.getDateTime("DateTime").atZone(EST).toInstant();
        long ts = TimestampFormatUtils.parseTimestamp(i.toString());
        return new PreparedRow(
            ts,
            r.getDouble("x1"),
            r.getDouble("x2"),
            r.getDouble("y1"),
            r.getDouble("y2"),
            r.getDouble("z")
        );
    } catch (NumericException ex) {
        log.error("Cannot parse the date {}", r.getDateTime("DateTime"));
        return null;
    }
}).filter(Objects::nonNull).collect(Collectors.toList());

// 第二步：单线程批量写入，批量提交
try (TableWriter writer = engine.getWriter(ctx.getCairoSecurityContext(), name, "writing")) {
    for (PreparedRow row : prepared) {
        TableWriter.Row wRow = writer.newRow(row.ts);
        wRow.putDouble(0, row.x1);
        wRow.putDouble(1, row.x2);
        wRow.putDouble(2, row.y1);
        wRow.putDouble(3, row.y2);
        wRow.putDouble(4, row.z);
        wRow.append();
    }
    // 全量写完后只提交一次，也可以按每1000~10000条提交一次平衡性能和可靠性
    writer.commit();
} catch (Exception ex) {
    log.error("Cannot write to table {}!", name, ex);
}

// 中间实体类示例，你也可以用数组等其他结构替代
class PreparedRow {
    long ts;
    double x1;
    double x2;
    double y1;
    double y2;
    double z;
    
    public PreparedRow(long ts, double x1, double x2, double y1, double y2, double z) {
        this.ts = ts;
        this.x1 = x1;
        this.x2 = x2;
        this.y1 = y1;
        this.y2 = y2;
        this.z = z;
    }
}

方案2：使用ILP协议并发写入 #

如果你确实需要多线程直接写入，可以通过QuestDB的InfluxDB Line Protocol（ILP）接口写入，ILP天生支持多线程并发写入，服务端内部会自动处理写入冲突和数据排序。哪怕是嵌入式部署的QuestDB，也可以开启本地ILP端口，多线程通过ILP客户端写入数据即可。

原有代码的其他问题 #

• 单条数据写入就调用一次commit()，commit是磁盘刷盘操作，频繁调用会严重拉低写入性能，也会大幅提升异常概率，建议按批次提交，批次大小可以设为1000~10000条根据实际场景调整。

内容的提问来源于stack exchange，提问作者jfarjona