You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

ClickHouse RabbitMQ引擎因未确认消息过多停止工作的问题求助

ClickHouse RabbitMQ引擎因未确认消息过多停止工作的问题求助

各位大佬好,我最近在做ClickHouse对接RabbitMQ的场景:用ClickHouse的RabbitMQ引擎消费RabbitMQ队列里的数据,再通过物化视图把数据转存到目标业务表,但碰到了一个很棘手的问题,想请教下大家:

当我往RabbitMQ队列里写入100万条数据时,ClickHouse一开始会正常读取并存储数据,但有时候会毫无征兆地突然停止消费,而且完全没有报错信息。更麻烦的是,我尝试删除那个基于RabbitMQ引擎的表时,操作会一直卡住,永远完成不了;不过物化视图对应的目标表倒是能正常删除。

具体的异常表现是:队列里的未确认消息数会快速涨到10万条,一旦达到这个数值,消费就彻底停摆了。只有重启ClickHouse服务之后,消费才会重新启动,但过不了多久又会重复出现同样的问题。

下面是我创建的RabbitMQ引擎表的结构:

CREATE TABLE table_name
(
    `data` String
)
ENGINE = RabbitMQ
SETTINGS rabbitmq_host_port = 'ip:port',
 rabbitmq_format = 'JSONAsString',
 rabbitmq_username = 'username',
 rabbitmq_password = 'password',
 rabbitmq_num_consumers = 1,
 rabbitmq_queue_consume = 1,
 rabbitmq_max_block_size = 1000,
 rabbitmq_flush_interval_ms = 2000,
 rabbitmq_queue_base = 'queue-name';

备注:内容来源于stack exchange,提问作者user

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.15 15:09:40