Confluent.Kafka抛出ConsumeException:Broker:Message size too large如何解决

• 核对全链路消息大小限制配置，默认Kafka单条消息最大限制为1MB，30KB远低于该阈值，优先排查是否存在非预期的配置覆盖：
  • Broker端全局配置：message.max.bytes（单条消息写入最大限制）、replica.fetch.max.bytes（副本同步拉取消息最大限制）
  • 主题级配置：max.message.bytes（指定主题的单条消息最大限制，优先级高于Broker全局配置）
  • 消费者配置：fetch.max.bytes（单次拉取请求允许的最大字节数，Broker返回的批量消息大小超出该值时会抛出对应错误）
• 校验消息实际大小，排除消息携带大量自定义头、启用压缩后实际传输大小超出预期的情况，可通过Kafka自带的日志工具查看分区内消息的真实大小：

  kafka-dump-log.sh --files /var/lib/kafka/data/<主题名>-<分区号>/00000000000000000000.log --deep-iteration
  

• 补充校验消费者配置生效状态，确认AutoOffsetReset.Earliest配置已正确加载，排除新消费组默认从最新偏移量消费导致的无消息返回问题（该问题不会触发大小报错，仅作为消费失败的补充排查项）

按优先级执行以下操作即可解决问题：

• 调整消费者拉取阈值：若确认是消费者端拉取限制过小，在Confluent.Kafka的ConsumerConfig中添加如下配置：

  // 可根据实际业务消息大小调整，示例为10MB
  config.FetchMaxBytes = 10485760;
  config.ReceiveMessageMaxBytes = 10485760;
  

• 修改主题级消息大小限制：若主题配置的消息上限被意外修改，执行以下命令更新主题配置：

  kafka-configs.sh --alter --topic <你的主题名称> --bootstrap-server <Broker访问地址> --add-config max.message.bytes=10485760
  

• 调整Docker部署的Broker全局配置：修改docker-compose.yml中Kafka服务的环境变量，重启Kafka容器后生效：

  services:
    kafka:
      image: confluentinc/cp-kafka:latest
      environment:
        KAFKA_MESSAGE_MAX_BYTES: 10485760
        KAFKA_REPLICA_FETCH_MAX_BYTES: 10485760
  

• 若以上配置均无异常，升级Confluent.Kafka客户端到最新稳定版即可解决部分旧版本的大小校验误报问题。

内容的提问来源于stack exchange，提问作者Aleksei Khokhlov