ClickHouse Java Client多线程查询性能优化咨询

针对你遇到的多线程查询性能骤降问题，核心原因是每次查询都新建ClickHouseClient实例，导致HTTP连接无法复用——curl默认会复用连接池，所以性能差异明显。结合你的场景（100线程查询、低频小批量插入），给出以下具体优化方案：

1. 全局复用ClickHouseClient实例 #

ClickHouseClient是线程安全的，无需每次查询都创建新实例。频繁创建销毁实例会导致HTTP连接池重复初始化，产生巨大开销。

修改代码为单例模式：

// 全局单例，仅初始化一次
private static final ClickHouseClient CLIENT = ClickHouseClient.newInstance(ClickHouseProtocol.HTTP);

// 查询方法复用该实例
public Object queryData(String selectQuery) {
    try (ClickHouseResponse response = CLIENT.connect(getServer())
            .format(ClickHouseFormat.RowBinary) // 简化格式，减少传输开销
            .query(selectQuery)
            .executeAndWait()) {
        return castResult(response);
    } catch (Exception e) {
        throw new RuntimeException("Query failed", e);
    }
}

2. 配置HTTP连接池参数 #

默认的连接池配置可能无法支撑100并发请求，需要调整连接数、超时等参数，避免连接等待：

// 初始化Client时自定义HTTP配置
ClickHouseHttpConfig httpConfig = ClickHouseHttpConfig.builder()
        .maxConnections(120) // 略大于并发线程数，预留缓冲
        .connectionTimeout(Duration.ofSeconds(5))
        .socketTimeout(Duration.ofSeconds(10))
        .keepAlive(true) // 开启长连接，复用连接
        .build();

private static final ClickHouseClient CLIENT = ClickHouseClient.newInstance(
        ClickHouseProtocol.HTTP,
        ClickHouseSettings.of(httpConfig)
);

3. 优化查询格式与传输 #

• 用RowBinary替代RowBinaryWithNamesAndTypes：如果你的解析逻辑不需要列名和类型信息，直接用二进制格式传输，减少数据量和序列化开销。
• 开启HTTP压缩：在客户端配置中启用gzip压缩，降低网络传输负载：

ClickHouseHttpConfig httpConfig = ClickHouseHttpConfig.builder()
        .compress(true) // 开启压缩
        .build();

4. 小批量插入优化 #

每30秒插入200-300条数据时，不要单条执行INSERT，改用批量插入减少请求次数：

// 批量插入示例
public void batchInsert(List<YourData> dataList) {
    String insertQuery = "INSERT INTO your_table (col1, col2) VALUES";
    try (ClickHouseWriter writer = CLIENT.connect(getServer())
            .format(ClickHouseFormat.RowBinary)
            .query(insertQuery)
            .write()) {
        for (YourData data : dataList) {
            // 将数据序列化为RowBinary格式写入
            writer.writeRow(/* 自定义序列化逻辑 */);
        }
        writer.close(); // 提交批量数据
    } catch (Exception e) {
        throw new RuntimeException("Batch insert failed", e);
    }
}

5. 服务器端配置检查 #

确保ClickHouse服务器能支撑并发请求：

• 调整max_concurrent_queries参数（默认可能为100，可适当调大到150）
• 检查max_connections参数，确保服务器能接受足够的连接

内容的提问来源于stack exchange，提问作者Boris