Kafka中高烈炉大小的根本原因调试

1.先确认烈炉大小是高的，使用Kafka的工具查看：

./kafka-consumer-groups.sh --all-groups \
--bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 \
--describe \
--command-config /etc/kafka/conf/client.properties

2.找到高烈炉大小的topic的分区：

purgatory-size为0的部分意味着没有超时消息（无需优化）
purgatory-size大于0的部分意味着峰值总比未经调整的情况下低（需要调整）

3.检查消费者偏移是否过期：

./kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 \
--topic example-topic --from-beginning --max-messages 1 \
--timeout-ms 1000 \
--consumer.config /etc/kafka/conf/client.properties

4.确定堵塞在峰值的生产者是谁，使用Kafka的工具查看：

./kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 \
--topic example-topic \
--producer.config /etc/kafka/conf/client.properties \
--batch-size 1 \
--request-timeout-ms 305000 \
--max-block-ms 30 \
--max-in-flight-requests-per-connection 1 \
--timeout-ms 300000 \
--delivery-timeout-ms 2000 \
--retry-backoff-ms 500 

（注意参数要根据具体问题调整，不是一股脑的全加上去）

5.考虑使用不合并batch的生产者代替合并batch的生产者，可以减少碎片，并且更快捷地容纳更多消息：

kafka.producer.ProducerConfig max.request.size=104857600
kafka.producer.ProducerConfig