K8s StatefulSet部署的ClickHouse频繁崩溃自动重启，求排查原因

问题排查结果 #

从你提供的建表语句和K8s StatefulSet部署场景来看，以下几个配置错误是导致ClickHouse频繁崩溃的核心原因：

• 副本标识硬编码冲突：你创建graphite_index表时，ReplicatedReplacingMergeTree的第二个副本标识参数硬编码为固定值clickhouse1-0，StatefulSet部署多副本场景下，所有Pod都会使用同一个副本标识注册到Zookeeper，导致Zookeeper会话冲突、锁争抢，直接触发进程崩溃。
• 分布式表对应本地表缺失/不匹配：你仅提供了分布式表graphite的建表语句，未在集群各节点部署结构匹配的本地表，写入分布式表时会因为找不到对应本地表、结构不匹配触发异常崩溃。
• 存储配置不符合要求：如果StatefulSet配置了共享存储挂载给多个ClickHouse Pod，会导致数据文件读写锁冲突；如果存储IO性能不足，Graphite场景高写入压力下会导致Merge操作超时，触发进程崩溃。
• 资源配额不足：K8s配置的CPU、内存配额过低时，高写入+Merge操作会触发OOM Kill，导致进程被强制终止。
• Zookeeper连接异常：Replicated表依赖Zookeeper实现副本同步，如果Zookeeper连接超时、权限不足、集群不可用，会导致表初始化失败，触发进程崩溃。

修复方案 #

1. 修正Replicated表的副本标识配置，使用动态宏替代硬编码值，建表语句调整为：

CREATE TABLE default.graphite_index
(
    `Date` Date,
    `Level` UInt32,
    `Path` String,
    `Version` UInt32,
    `updated` DateTime DEFAULT now(),
    `status` Enum8('SIMPLE' = 0, 'BAN' = 1, 'APPROVED' = 2, 'HIDDEN' = 3, 'AUTO_HIDDEN' = 4)
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/default.graphite_index', '{replica}', updated)
PARTITION BY toYYYYMM(Date)
ORDER BY Path
SETTINGS index_granularity = 1024;

同时在ClickHouse配置文件中新增shard、replica宏配置，映射StatefulSet的分片ID和Pod唯一标识，保证每个Pod的副本标识全局唯一。

2. 补全集群各节点的本地graphite表，再关联分布式表：
   首先在所有节点创建本地表：

CREATE TABLE default.graphite_local
(
    `Path` String CODEC(ZSTD(2)),
    `Value` Float64 CODEC(Delta(8), ZSTD(2)),
    `Time` UInt32 CODEC(Delta(4), ZSTD(2)),
    `Date` Date CODEC(Delta(2), ZSTD(2)),
    `Timestamp` UInt32 CODEC(Delta(4), ZSTD(2))
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default.graphite_local', '{replica}')
PARTITION BY toYYYYMM(Date)
ORDER BY (Path, Time)
SETTINGS index_granularity = 1024;

再修改分布式表配置指向本地表：

CREATE TABLE default.graphite
(
    `Path` String CODEC(ZSTD(2)),
    `Value` Float64 CODEC(Delta(8), ZSTD(2)),
    `Time` UInt32 CODEC(Delta(4), ZSTD(2)),
    `Date` Date CODEC(Delta(2), ZSTD(2)),
    `Timestamp` UInt32 CODEC(Delta(4), ZSTD(2))
)
ENGINE = Distributed('graphitereplica', 'default', 'graphite_local', xxHash64(Path));

3. 调整存储配置：StatefulSet使用独立PV挂载给每个Pod，不要使用共享存储；选择IOPS不低于1000的存储类，满足Graphite高写入场景的Merge性能要求。

4. 调整资源配额：K8s配置中，CPU requests不低于2核、内存requests不低于4G，内存limits设置为requests的2倍以上；同时调整ClickHouse的max_memory_usage参数为内存limits的80%，避免触发OOM Kill。

5. 检查Zookeeper配置：确保ClickHouse到Zookeeper集群的网络延迟低于10ms，Zookeeper集群节点数不少于3个，配置正确的读写权限，允许ClickHouse在/clickhouse路径下创建节点。

内容的提问来源于stack exchange，提问作者vicky