You need to enable JavaScript to run this app. .NET5项目消费两个Kafka Topic仅第一个生效问题求助
优惠活动
大模型
产品
解决方案
定价
更多

.NET5项目消费两个Kafka Topic仅第一个生效问题求助

问题根因

你注册的两个IHostedService的StartAsync方法是按注册顺序同步执行的,第一个消费者的StartAsync方法里写了无限阻塞的死循环while(true),会一直占用执行线程,导致第二个消费者的StartAsync方法永远不会被触发执行。

修复方案

需要同步修改三个核心问题:

  • 把消费逻辑包裹在Task.Run中异步执行,不要阻塞StartAsync方法返回,让宿主可以继续启动下一个后台服务
  • 正确使用框架传入的取消令牌cancellationToken,实现服务优雅停止,不要自行创建无关联的CancellationTokenSource
  • 修正生命周期不匹配问题:IHostedService是单例生命周期,直接注入Scoped的IElasticService会导致服务生命周期异常,需要手动创建作用域获取Scoped服务实例

修正后代码示例

以ActivateMovieConsumerHandler为例,DeactivateMovieConsumerHandler按照相同逻辑修改即可:

public class ActivateMovieConsumerHandler : IHostedService
{
    private readonly IConfiguration _configuration;
    private readonly IServiceProvider _serviceProvider;
    private Task _consumerTask;
    private CancellationTokenSource _cts;
    
    public ActivateMovieConsumerHandler(IConfiguration configuration, IServiceProvider serviceProvider)
    {
        _configuration = configuration;
        _serviceProvider = serviceProvider;
    }

    public Task StartAsync(CancellationToken cancellationToken)
    {
        _cts = CancellationTokenSource.CreateLinkedTokenSource(cancellationToken);
        // 消费逻辑放到后台线程执行,不阻塞StartAsync返回
        _consumerTask = Task.Run(() => RunConsumer(_cts.Token), _cts.Token);
        return Task.CompletedTask;
    }

    private void RunConsumer(CancellationToken cancellationToken)
    {
        var conf = new ConsumerConfig
        {
            GroupId = _configuration["MovieActivatedGroupName"],
            BootstrapServers = _configuration["KafkaBootstrapServers"],
            AutoOffsetReset = AutoOffsetReset.Earliest
        };
        
        using var consumer = new ConsumerBuilder<Ignore, string>(conf).Build();
        consumer.Subscribe(_configuration["MovieActivatedTopicName"]);
        
        while (!cancellationToken.IsCancellationRequested)
        {
            try
            {
                var consumeResult = consumer.Consume(cancellationToken);
                // 手动创建作用域获取Scoped的IElasticService
                using var scope = _serviceProvider.CreateScope();
                var elasticService = scope.ServiceProvider.GetRequiredService<IElasticService>();
                elasticService.InsertMovie(consumeResult.Message.Value);
            }
            catch (OperationCanceledException)
            {
                // 取消操作正常退出
                break;
            }
            catch (Exception ex)
            {
                // 可自行添加日志记录消费异常,不要单次异常就直接关闭消费者
            }
        }
        
        consumer.Close();
        consumer.Dispose();
    }
    
    public Task StopAsync(CancellationToken cancellationToken)
    {
        _cts?.Cancel();
        // 等待消费任务正常退出
        return _consumerTask ?? Task.CompletedTask;
    }
}

修改完成后两个消费者都会正常启动监听对应Topic。

内容的提问来源于stack exchange,提问作者Ahmet Remzi Ata

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 11:54:03