如何将kafka-go写入事件的超时时间降低至100ms？

kafka-go的Writer默认启用批量写入机制，其中BatchTimeout参数的默认值为1秒——这就是你遇到单条消息写入耗时1秒的原因：当消息数量未达到BatchSize（默认100条）时，Writer会等待满1秒才发送批次。

要将超时时间改为100ms，只需在Writer配置中显式设置BatchTimeout参数即可，代码示例如下：

import (
    "time"
    "github.com/segmentio/kafka-go"
)

writer := kafka.Writer{
    Addr:         kafka.TCP(kafkaURL),
    Topic:        topic,
    BatchTimeout: 100 * time.Millisecond, // 核心配置：将批量超时设为100ms
    // BatchSize:    100, // 可根据需求保留或调整，默认值即为100
}

补充说明 #

• 如果业务对延迟要求极高，也可以将BatchSize设为1，强制每条消息立即发送，但这会牺牲批量写入的吞吐量优势，增加网络请求次数，需根据实际场景权衡。
• 调整BatchTimeout后，单条消息会在100ms内被发送，既保证了低延迟，又保留了批量写入对吞吐量的优化。

内容的提问来源于stack exchange，提问作者Tzook Bar Noy