ClickHouse大规模插入遇锁超时，除调整Socket/Session超时外还有何办法？

以下是针对该问题的可行解决方向：

• 调整服务器端锁超时参数
  客户端设置的socket/session超时与锁超时属于不同维度的参数，需修改ClickHouse服务端配置：

  • 编辑config.xml或users.xml，增加/修改全局锁相关参数：

    <yandex>
      <!-- 全局锁获取超时，单位秒，默认10 -->
      <lock_acquire_timeout>600</lock_acquire_timeout>
      <!-- MergeTree引擎专属锁超时，单位秒 -->
      <merge_tree_lock_acquire_timeout>600</merge_tree_lock_acquire_timeout>
    </yandex>
    

  • 修改后重启ClickHouse服务生效。

• 优化插入策略

  • 拆分大批次插入：将单条超大插入拆分为10-50万条/批次的小批量插入，降低锁竞争概率。
  • 使用高效批量格式：优先采用INSERT INTO ... FORMAT CSV/Parquet/JSONEachRow等批量格式插入，避免逐条插入的低效锁请求。
  • 开启异步插入：在连接配置中启用异步插入，将插入请求异步提交给服务端处理：

    ClickHouseProperties properties = new ClickHouseProperties();
    properties.setAsyncInsert(true);
    properties.setWaitForAsyncInsert(true);
    

• 临时暂停表合并操作
  MergeTree表的后台合并操作会抢占锁资源，可临时停止合并再执行插入：

  -- 停止目标表合并
  SYSTEM STOP MERGES your_table_name;
  -- 执行插入操作
  -- 恢复合并
  SYSTEM START MERGES your_table_name;
  

  可先通过SELECT * FROM system.merges WHERE table = 'your_table_name'查看当前合并任务状态。

• 调整表引擎参数

  • 增大min_merge_bytes_to_use_direct_io：减少合并时的IO竞争，避免因IO繁忙导致锁等待超时。
  • 延长merge_with_ttl_timeout：如果表有TTL规则，延长TTL合并的间隔，避免插入时触发TTL合并抢锁。

• 排查服务器资源瓶颈

  • 检查CPU、磁盘IO、内存使用率，若存在资源耗尽情况，先扩容或优化资源分配（比如更换更快的磁盘、增加CPU核心）。

内容的提问来源于stack exchange，提问作者Stepan Yakovenko