ClickHouse插入操作间歇性报表只读错误 疑似ZooKeeper问题求解
问题根因定位
Code: 242 表只读错误的触发逻辑为:ClickHouse服务端与ZooKeeper的连接出现会话过期后,会自动触发防脑裂的只读保护。
ZooKeeper服务端日志看不到对应错误是正常现象:ZooKeeper的会话过期基于租约机制,只要ClickHouse端在约定的超时周期内未按时发送心跳,ZK就会主动过期对应会话,默认不会在error级别日志中记录这类被动超时事件,仅会体现在服务端监控指标中。
排查与修复方案
1. 调整ZK连接超时与链路配置
- 检查ClickHouse配置文件中
zookeeper段的两个核心参数:session_timeout_ms:19.14版本默认值仅10000ms(10秒),遇到轻度网络抖动就会触发超时,建议调整为30000~60000msoperation_timeout_ms:建议同步调整为30000~60000ms
- 确认ZooKeeper服务端的
maxSessionTimeout参数不小于ClickHouse侧配置的会话超时值,否则ZK会按自身上限截断超时配置,调整会失效。 - 排查ClickHouse到ZooKeeper的网络链路:确认中间是否存在防火墙、TCP负载均衡设备,带有静默截断空闲连接(超过30s无流量就掐断TCP连接)的规则,这类配置触发的断连刚好会表现为“间歇性会话过期,两端均无明确报错”。
2. 解决ClickHouse端ZK线程阻塞问题
- 19.14版本存在已知缺陷:当服务端执行大合并、大ALTER操作导致CPU/IO打满时,处理ZooKeeper收发逻辑、后台调度的
BackgroundSchedulePool线程池会被占满,无法及时发送ZK心跳,进而触发会话过期。 - 可对照异常时间点的服务端指标排查:
- 当时是否存在大量并发合并任务、长耗时mutation操作
BackgroundSchedulePool的排队任务数是否在异常时点陡增
- 临时缓解方案:把
BackgroundSchedulePool的线程数从默认的16调整到32,给ZK相关任务预留足够的调度资源。
3. 应用层兜底优化
- 当前使用的
clickhouse-jdbc 0.1.54版本较老,遇到服务端临时只读、会话重连的场景不会自动重试,会直接把错误抛给业务层。可在应用层对错误码为242(表只读)、999(ZK会话过期)的异常,增加1~2次带退避间隔的重试,即可覆盖大部分间歇性的写入失败。
补充说明:表进入只读是ClickHouse的内置保护逻辑——当分布式表、依赖leader选举的协调表失去ZK连接、无法确认当前是否为合法写入节点时,会自动切为只读,避免多节点同时写入导致脑裂。等ZK会话重连、重新完成leader选举后,只读状态会自动解除,不需要人工干预。
内容的提问来源于stack exchange,提问作者acg
相关产品推荐
相关产品推荐

