Sentry自托管升级后events-consumer容器重启循环求助

自托管版本 #

23.6.0

CPU架构 #

x86_64

Docker版本 #

24.0.5

Docker Compose版本 #

2.20.2

问题描述 #

此前Sentry 23.4.0运行正常，为升级至23.8.0，选择分步路径：23.4.0 → 23.4.2 → 23.5.2 → 23.6.2 → 23.7.2 → 23.8.0。升级至23.6.2时，events-consumer容器进入重启循环，Docker日志报错：

arroyo.errors.OffsetOutOfRange: KafkaError{code=_AUTO_OFFSET_RESET,val=-140,str="fetch failed due to requested offset not available on the broker: Broker: Offset out of range (broker 1001)"}
06:31:47 [ERROR] arroyo.processing.processor: Caught exception, shutting down...
06:31:47 [INFO] arroyo.processing.processor: Closing <arroyo.backends.kafka.consumer.KafkaConsumer object at 0x7fd2d98bf670>...
06:31:47 [INFO] arroyo.processing.processor: Partitions to revoke: [Partition(topic=Topic(name='ingest-events'), index=0)]
06:31:47 [INFO] arroyo.processing.processor: Partition revocation complete.

升级至23.8.0后问题仍存在，调研得知23.6.0后原ingest-consumer拆分为三个容器，仅events-consumer无法稳定运行。已尝试官方Kafka排查方案，监控ingest-consumer ingest-events的LAG值在5000-15000波动；虚拟机为10核CPU、32GB内存，经Zabbix和docker stats确认无资源限制问题，docker-compose也未设置资源限制。

预期结果 #

events-consumer容器正常运行，不再崩溃。

感谢您的帮助！

内容的提问来源于stack exchange，提问作者Hatam Abolghasemi