Kafka消息压缩实现：compression.type属性应配置于哪个配置文件？

嘿，这个问题我门儿清！compression.type的配置位置得看你是想在生产者端控制发送消息的压缩，还是在Broker端设置全局默认规则，分两种情况说：

1. 生产者端配置（优先级最高） #

如果是针对特定生产者发送的消息启用压缩，你有两种方式设置：

• 代码中直接配置：不管用Java、Python还是其他语言的Kafka客户端，直接在生产者的配置参数里添加compression.type即可，比如Java里：

  Properties props = new Properties();
  props.put("bootstrap.servers", "localhost:9092");
  props.put("compression.type", "snappy"); // 这里设置压缩类型
  // 其他生产者配置...
  KafkaProducer<String, String> producer = new KafkaProducer<>(props);
  

• 使用独立配置文件：如果你习惯用.properties格式的配置文件管理生产者参数，那就在你的生产者配置文件（通常命名为producer.properties）里添加一行：

  compression.type=gzip
  

  启动生产者时指定这个配置文件就行。

生产者端设置的压缩类型优先级最高，Broker不会覆盖这个设置——哪怕Broker端有其他配置，也会保留生产者指定的压缩格式。

2. Broker端配置（全局默认） #

如果想给所有未指定压缩类型的生产者设置默认压缩规则，或者让Broker自动对未压缩的消息进行压缩，就需要修改Broker的核心配置文件server.properties，添加或修改：

compression.type=zstd

这里要注意两个关键点：

• Broker端的compression.type默认值是producer，意思是完全保留生产者发送过来的压缩格式，不做修改。
• 如果你设置成具体的压缩类型（比如gzip），Broker只会对未压缩的消息进行压缩转换，已经由生产者压缩过的消息不会被重新压缩。

额外小贴士 #

可选的压缩类型有这几种，你可以根据业务场景选：

• none：默认值，不压缩
• gzip：压缩率较高，但CPU开销大
• snappy：平衡压缩率和速度，适合大多数场景
• lz4：速度极快，压缩率适中
• zstd：高压缩率，性能也不错，是较新的选项

内容的提问来源于stack exchange，提问作者Onkar