JUnit中向ClickHouseContainer导入CSV时执行超时问题求助

以下是针对问题的排查方向和解决方案：

1. 容器启动检测不充分 #

虽然/ping返回200仅代表服务存活，但ClickHouse可能还未完成元数据加载、查询引擎初始化等准备工作，此时处理写入请求会导致超时。

解决方法：
在容器启动后，额外执行简单查询验证服务真正就绪：

image.start()

// 验证服务可处理查询
val jdbcUrl = image.jdbcUrl
var connection: Connection? = null
try {
    connection = DriverManager.getConnection(jdbcUrl, "default", "")
    var attempts = 0
    val maxAttempts = 10
    while (attempts < maxAttempts) {
        try {
            val stmt = connection.createStatement()
            stmt.executeQuery("SELECT 1").close()
            stmt.close()
            break
        } catch (e: SQLException) {
            attempts++
            Thread.sleep(2000)
            if (attempts == maxAttempts) throw e
        }
    }
} finally {
    connection?.close()
}

2. 客户端配置错误 #

你设置的MAX_EXECUTION_TIME=1000（1秒）过短，这是服务端执行超时限制，会强制终止未完成的请求；同时Socket超时设置也需合理调整。

修正后的客户端配置：

val client = ClickHouseClient
    .builder()
    .option(ClickHouseClientOption.SOCKET_TIMEOUT, 30000) // 设为30秒
    .option(ClickHouseClientOption.MAX_THREADS_PER_CLIENT, 100)
    // 移除或调大MAX_EXECUTION_TIME，避免服务端强制终止请求
    // .option(ClickHouseClientOption.MAX_EXECUTION_TIME, 1000)
    .build()

3. 容器资源不足 #

ClickHouse默认需要一定内存资源，JUnit环境中容器内存限制过低会导致服务处理请求卡顿甚至崩溃，引发超时或连接重置。

解决方法：初始化容器时指定内存和CPU资源：

val image: ClickHouseContainer =
    ClickHouseContainer("clickhouse/clickhouse-server:latest")
        .withUrlParam("compress_algorithm", "zstd")
        .withUsername("default")
        .withPassword("")
        .withExposedPorts(8123, 8443, 9000, 9440)
        .withMemoryLimit("2g") // 分配2GB内存
        .withCpuCount(2) // 分配2核CPU
        .waitingFor(
            Wait
                .forHttp("/ping")
                .forPort(8123)
                .forStatusCode(200)
                .withStartupTimeout(Duration.ofSeconds(600))
        )
image.start()

4. CSV格式与表结构不匹配 #

即使文件很小，若CSV列数、分隔符、数据类型与目标表不匹配，会导致服务端处理异常，表现为超时。

排查步骤：

• 确认format_csv_delimiter设置与CSV实际分隔符一致
• 检查表结构列数与CSV列数完全匹配（或通过input_format_csv_skip_columns跳过多余列）
• 手动在ClickHouse中导入该CSV文件，验证是否存在格式错误

5. 避免使用不稳定的镜像版本 #

latest标签的镜像可能包含未修复的bug，建议使用稳定的固定版本，比如24.3.3.18：

ClickHouseContainer("clickhouse/clickhouse-server:24.3.3.18")

内容的提问来源于stack exchange，提问作者Pratyush