Go服务中Confluent Kafka消费者调试日志无法获取问题咨询

以下是按优先级排序的排查点和修复方案：

1. 日志级别匹配问题 #

• 底层依赖的librdkafka默认日志级别为INFO，你当前代码使用logger.Debug输出日志，首先要确认你的日志框架是否开启了Debug级别输出权限，多数环境默认会关闭Debug级别导致日志被过滤。可先将输出改为Info级别，或者新增两个配置强制输出全量调试日志验证通道是否可用：

  configMap["log_level"] = 7 // 7对应librdkafka的Debug级别，数值越小日志越少
  configMap["debug"] = "all" // 开启全场景调试日志，生产环境按需调整
  

2. 日志通道阻塞问题 #

• 你初始化的是无缓冲通道chanLogs := make(chan confluentkafka.LogEvent)，如果日志生产速度超过消费协程的处理速度，底层发送日志的逻辑会被阻塞，甚至出现日志丢失，这也是你遇到配置有时生效有时不生效的常见原因。建议改为带足够缓冲的通道：

  chanLogs := make(chan confluentkafka.LogEvent, 1000) // 可根据实际日志量调整缓冲大小
  

3. 配置冲突问题 #

• 不要同时配置自定义日志通道和调用consumer.Logs()，两者互斥，同时配置会导致其中一个失效。如果使用自定义通道，就不要调用Logs()方法；如果使用自带的日志通道，不需要手动配置go.logs.channel相关参数。
• 确认没有其他地方覆盖go.logs.channel.enable和go.logs.channel的配置，也没有同时配置老版本的日志回调函数，日志回调的优先级高于日志通道，同时配置会导致通道收不到日志。

4. 触发时机问题 #

• 如果程序创建消费者后很快退出，还没等到日志生成进程就结束，自然收不到日志，可先加几秒的延迟验证。
• 如果没有实际的客户端交互（比如没有拉取消息、没有发生连接/报错/重平衡等事件），客户端本身不会生成日志，可主动填入错误的Broker地址，触发连接错误日志，验证通道是否正常。

可正常输出日志的参考代码 #

package main

import (
	"fmt"
	"time"

	"github.com/confluentinc/confluent-kafka-go/v2/kafka"
)

func main() {
	// 初始化带缓冲的日志通道
	chanLogs := make(chan kafka.LogEvent, 1000)
	// 日志消费协程，用range监听通道，通道关闭时自动退出
	go func() {
		for logEv := range chanLogs {
			// 先用fmt打印排除日志框架级别过滤问题
			fmt.Printf("[KAFKA LOG] %s\n", logEv.String())
		}
	}()

	// 消费者配置
	configMap := &kafka.ConfigMap{
		"bootstrap.servers": "你的Broker地址:9092",
		"group.id":          "test-log-group",
		"auto.offset.reset": "earliest",
		// 日志通道配置
		"go.logs.channel.enable": true,
		"go.logs.channel":        chanLogs,
		// 调试用配置，生产环境按需关闭
		"log_level": 7,
		"debug":     "all",
	}

	// 创建消费者
	consumer, err := kafka.NewConsumer(configMap)
	if err != nil {
		panic(fmt.Sprintf("创建消费者失败: %v", err))
	}
	defer consumer.Close()
	defer close(chanLogs)

	// 订阅Topic
	err = consumer.SubscribeTopics([]string{"你的测试Topic"}, nil)
	if err != nil {
		panic(fmt.Sprintf("订阅Topic失败: %v", err))
	}

	// 拉取消息触发客户端交互
	for i := 0; i < 10; i++ {
		msg, err := consumer.ReadMessage(3 * time.Second)
		if err == nil {
			fmt.Printf("收到消息: %s\n", string(msg.Value))
		} else {
			fmt.Printf("消费消息异常: %v\n", err)
		}
	}
}

内容的提问来源于stack exchange，提问作者Yura