如何通过JavaClient或JDBC加速CSV文件写入ClickHouseDB？

现有方案慢的原因 #

• JDBC PreparedStatement方式：手动拆分CSV、做类型转换（字符串转LocalDateTime/BigDecimal等）、逐行addBatch，这些操作在Java端消耗大量CPU，再加上JDBC协议本身的额外开销，导致速度比原生慢10倍。
• JavaClient方式：默认配置没启用高效传输协议（比如TCP），也没做压缩、批量参数调优，文件读取和传输的效率没拉满，所以比原生慢20倍。

具体优化方案 #

1. 直接调用ClickHouse原生命令行（最接近原生速度） #

既然原生客户端速度最快，Java直接通过进程调用clickhouse-client，完全复用原生的高效导入逻辑，几乎和原生速度一致：

public void insertViaNativeClient() throws IOException, InterruptedException {
    ProcessBuilder pb = new ProcessBuilder(
        "clickhouse-client",
        "--host", "你的ClickHouse地址",
        "--port", "9000", // 用TCP端口，比HTTP的8123快很多
        "--user", "用户名",
        "--password", "密码",
        "--query", "INSERT INTO btc_data FORMAT CSV",
        "--input-format-csv-delimiter", ","
    );
    // 把CSV文件作为输入流传给原生进程
    pb.redirectInput(new File("src/main/resources/864400.csv"));
    Process process = pb.start();
    int exitCode = process.waitFor();
    if (exitCode != 0) {
        String errorMsg = new String(process.getErrorStream().readAllBytes(), StandardCharsets.UTF_8);
        throw new RuntimeException("导入失败: " + errorMsg);
    }
}

2. 优化ClickHouse JDBC Driver #

如果必须用JDBC，调整以下几点拉满速度：

• 用TCP协议的JDBC URL：jdbc:clickhouse://host:9000/数据库名，比HTTP协议高效。
• 关闭自动提交：避免每次批量都触发事务提交。
• 让ClickHouse自己解析CSV：不要在Java端手动拆分行、转类型，直接把CSV内容批量发送给ClickHouse解析：

public void insertJdbcOptimized() throws SQLException, IOException {
    connection.setAutoCommit(false);
    try (Statement stmt = connection.createStatement()) {
        // 一次性读取CSV内容（如果文件太大可以分块读，比如每10MB一块）
        String csvContent = Files.readString(Paths.get("src/main/resources/864400.csv"));
        stmt.execute("INSERT INTO btc_data FORMAT CSV\n" + csvContent);
        connection.commit();
    } finally {
        connection.setAutoCommit(true);
    }
}

3. 优化ClickHouse JavaClient配置 #

如果坚持用JavaClient，调优传输和格式参数：

• 切换到TCP协议：创建server配置时指定TCP端口。
• 启用LZ4压缩：减少传输数据量，ClickHouse会自动解压。
• 增大并行请求数：提升传输效率。

public void insertJavaClientOptimized() throws ClickHouseException {
    try (ClickHouseClient client = ClickHouseClient.newInstance(ClickHouseProtocol.TCP)) {
        ClickHouseFile file = ClickHouseFile.of(
            "src/main/resources/864400.csv", 
            ClickHouseCompression.LZ4, // 启用压缩
            ClickHouseFormat.CSV
        );
        ClickHouseResponse response = client.write(server)
            .set("format_csv_delimiter", ",")
            .table("btc_data")
            .option(ClickHouseClientOption.MAX_PARALLEL_REQUESTS, 4) // 并行请求数
            .data(file)
            .executeAndWait();
        System.out.println("写入行数: " + response.getSummary().getWrittenRows());
        response.close();
    }
}

核心优化总结 #

• 优先用原生命令行调用：几乎无Java端额外开销，速度最接近原生。
• 选TCP协议：比HTTP传输效率高一大截，ClickHouse原生默认用TCP。
• 把CSV解析工作丢给ClickHouse：它的C++解析逻辑比Java快得多，避免在Java端做无意义的类型转换。
• 批量传输大段数据：减少网络交互次数，降低协议开销。

内容的提问来源于stack exchange，提问作者ShinyEagle77