ClickHouse RabbitMQ引擎因未确认消息过多停止工作的问题求助
ClickHouse RabbitMQ引擎因未确认消息过多停止工作的问题求助
各位大佬好,我最近在做ClickHouse对接RabbitMQ的场景:用ClickHouse的RabbitMQ引擎消费RabbitMQ队列里的数据,再通过物化视图把数据转存到目标业务表,但碰到了一个很棘手的问题,想请教下大家:
当我往RabbitMQ队列里写入100万条数据时,ClickHouse一开始会正常读取并存储数据,但有时候会毫无征兆地突然停止消费,而且完全没有报错信息。更麻烦的是,我尝试删除那个基于RabbitMQ引擎的表时,操作会一直卡住,永远完成不了;不过物化视图对应的目标表倒是能正常删除。
具体的异常表现是:队列里的未确认消息数会快速涨到10万条,一旦达到这个数值,消费就彻底停摆了。只有重启ClickHouse服务之后,消费才会重新启动,但过不了多久又会重复出现同样的问题。
下面是我创建的RabbitMQ引擎表的结构:
CREATE TABLE table_name ( `data` String ) ENGINE = RabbitMQ SETTINGS rabbitmq_host_port = 'ip:port', rabbitmq_format = 'JSONAsString', rabbitmq_username = 'username', rabbitmq_password = 'password', rabbitmq_num_consumers = 1, rabbitmq_queue_consume = 1, rabbitmq_max_block_size = 1000, rabbitmq_flush_interval_ms = 2000, rabbitmq_queue_base = 'queue-name';
备注:内容来源于stack exchange,提问作者user
相关产品推荐
相关产品推荐

