Clickhouse 22.4.2.1无查询时CPU内存周期性超限问题求助

一、ClickHouse确实存在后台线程操作S3存储 #

你的观察是对的，当使用S3作为存储介质时，以下后台操作会触发S3读写流量，并伴随CPU、内存消耗：

• MergeTree后台合并（Merge）：MergeTree引擎会自动合并小数据片段以优化查询性能。对于S3存储的表，合并时需要从S3读取多个数据片段，进行排序（如ReplacingSorted这类操作）后再将合并后的片段写入S3。这个过程会占用大量内存，也是你日志中MEMORY_LIMIT_EXCEEDED（错误码241）的常见触发场景。
• 后台Mutation执行：如果提交了ALTER TABLE ... DELETE/UPDATE这类Mutation操作，ClickHouse会在后台异步执行。执行时需要读取S3上的目标数据片段，处理后重新写入，同样会消耗资源并产生S3流量。
• TTL数据清理：若表配置了TTL规则，后台线程会定期扫描并清理过期数据，涉及S3上的数据片段读取、删除操作。
• 元数据同步：对于分布式表或S3存储的表，后台会定期同步数据片段的元信息，可能触发S3的列表、读取操作。

二、针对你的问题的排查与解决步骤 #

1. 查看后台任务状态

   • 执行SELECT * FROM SYSTEM MUTATIONS：检查是否有未完成的Mutation任务，这类任务可能长期占用资源。
   • 执行SELECT * FROM SYSTEM MERGES：查看正在进行的合并任务，确认是否是合并操作导致的内存波动。
   • 执行SELECT * FROM SYSTEM TTL MERGES：排查是否是TTL清理触发的频繁操作。

2. 定位内存消耗细节

   • 开启内存跟踪：在config.xml中配置memory_tracking_log，之后查询system.memory_tracking_log表，可精准定位哪个后台操作占用了大量内存。
   • 查看后台进程：执行SELECT * FROM system.processes WHERE is_background = 1，直接查看后台线程的资源占用情况。

3. 调整相关配置优化资源占用

   • 控制合并频率：调高merge_tree_min_rows_for_concurrent_merge、merge_tree_min_bytes_for_concurrent_merge参数，减少小片段的频繁合并，降低S3读写和内存消耗。
   • 限制后台操作内存：设置background_pool_memory_limit（默认是全局内存的50%），避免后台操作占满全局内存；也可调整merge_tree_memory_usage_for_merge控制单个合并任务的内存上限。
   • 优化TTL清理：如果是TTL导致的问题，可调整TTL周期，或针对分区表设置ttl_only_drop_parts = 1，直接删除过期分区而非合并清理，减少内存占用。

4. 清理积压任务

   • 若存在大量未完成的无用Mutation，执行KILL MUTATION WHERE database = 'your_db' AND table = 'your_table' AND id = 'mutation_id';取消任务。

内容的提问来源于stack exchange，提问作者Don Zhang