如何降低通过脚本向Kafka Producer发送文件内容的延迟？

你遇到的延迟问题核心原因是每次调用kafka-console-producer.sh都会启动一个新的JVM进程，JVM初始化、Kafka客户端连接集群这些步骤会消耗大量时间（通常几秒），和cat/echo无关。下面是几个解决思路：

1. 复用单个Producer进程（最有效） #

不要每次处理新文件都启动新的Producer，而是只启动一次Producer，持续通过管道接收输入。用inotifywait监控文件夹的新文件创建事件，将文件内容传入已运行的Producer：

#!/bin/bash

# 配置参数
TARGET_FOLDER="/path/to/your/target/folder"
KAFKA_TOPIC="test"
PIPE_PATH="/tmp/kafka_producer_pipe"

# 创建命名管道
mkfifo "$PIPE_PATH"

# 启动单次Producer进程，持续从管道读取消息
"$KAFKA_HOME/bin/kafka-console-producer.sh" --bootstrap-server localhost:9092 --topic "$KAFKA_TOPIC" < "$PIPE_PATH" &
PRODUCER_PID=$!

# 监控文件夹的新文件创建事件
inotifywait -m -e create --format "%w%f" "$TARGET_FOLDER" | while read FILEPATH; do
    # 等待文件写入完成（避免读取不完整，可根据实际调整等待时间）
    sleep 0.1
    # 将文件内容写入管道，复用已启动的Producer
    cat "$FILEPATH" > "$PIPE_PATH"
done

# 脚本退出时清理资源
trap "kill $PRODUCER_PID; rm -f $PIPE_PATH" EXIT

这个方案彻底避免了重复启动JVM的开销，单条消息的发送延迟会降到毫秒级。

2. 调整Producer参数优化延迟 #

控制台生产者默认配置可能偏向吞吐量，可通过显式设置参数减少延迟：

$KAFKA_HOME/bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test \
    --producer-property linger.ms=0 \
    --producer-property batch.size=16384 \
    --producer-property compression.type=none \
    --producer-property acks=1

• linger.ms=0：有消息就立即发送，不等待攒批量
• batch.size=16384：限制批量大小，避免攒太多消息再发
• compression.type=none：关闭压缩，减少CPU处理时间
• acks=1：只等待leader确认接收就返回，比默认的acks=all延迟更低

3. 替代方案：用轻量客户端 #

如果bash脚本的方案仍不满足需求，可以用Python/Go等轻量语言写一个简单的监控脚本，直接调用Kafka客户端库发送消息，启动和运行开销远低于JVM版本的控制台生产者。

内容的提问来源于stack exchange，提问作者lanny