如何在Spring application.yaml中配置Kafka compact相关参数？

完全支持在Spring项目的application.yaml配置文件中添加cleanup.policy、log.cleaner.max.compaction.lag.ms参数实现Kafka compact功能配置，不需要强制通过@Bean声明NewTopic的硬编码方式实现。

YAML配置具体操作 #

Spring Kafka从2.x版本开始就支持通过配置文件挂载Topic级参数，配置生效的前提是你开启了Spring Kafka的自动建Topic能力（配置项spring.kafka.admin.auto-create默认值为true，未手动修改的话不需要额外声明），配置分两个粒度：

• 全局默认配置：所有Spring自动创建的Topic都会默认继承该组参数
• 指定Topic单独配置：针对单个Topic设置的参数优先级高于全局配置，会覆盖同key的全局参数值

配置示例如下：

spring:
  kafka:
    admin:
      # 全局生效的Topic默认参数
      properties:
        cleanup.policy: compact,delete
        log.cleaner.max.compaction.lag.ms: 86400000
    # 单个Topic专属配置
    topic:
      # 替换成你实际要使用的Topic名称
      biz-order-snapshot-topic:
        partitions: 3
        replicas: 2
        properties:
          cleanup.policy: compact
          log.cleaner.max.compaction.lag.ms: 3600000

配置注意事项 #

• 上述YAML中配置的Topic参数，仅在Spring首次在Kafka集群中创建对应Topic时生效。如果Topic已经提前在集群中创建存在，配置文件里的参数不会覆盖集群上已有的Topic配置，修改存量Topic参数需要通过Kafka自带的命令行工具或AdminClient接口操作。
• 如果你同时保留了@Bean NewTopic的代码配置，针对同一个Topic，NewTopic代码中显式声明的参数优先级更高，会覆盖YAML中同key的配置值。
• 你之前使用的@Bean NewTopic配置方式和YAML配置方式最终效果完全一致，仅配置存储位置不同，根据团队规范选择即可，两种方式不存在功能差异。@Bean方式的参考写法如下：

@Bean
public NewTopic compactTopic() {
    return TopicBuilder.name("biz-order-snapshot-topic")
            .partitions(3)
            .replicas(2)
            .config(TopicConfig.CLEANUP_POLICY_CONFIG, TopicConfig.CLEANUP_POLICY_COMPACT)
            .config(TopicConfig.LOG_CLEANER_MAX_COMPACTION_LAG_MS_CONFIG, "3600000")
            .build();
}

内容的提问来源于stack exchange，提问作者FPS Bard