Kafka Streams创建reparation主题retention.ms为-1原因及自定义方法

这个值是Kafka Streams框架的默认设计，核心逻辑是保障流处理的状态一致性：

• repartition主题是Streams执行keyBy、join、聚合等需要重分区操作时生成的内部中间主题，存储的是待下游处理节点消费的分片数据。如果按普通业务主题默认的7天时间留存策略，一旦流应用停机维护、故障恢复的时长超过留存周期，Broker会自动删除未消费的中间数据，直接导致重启后计算状态错乱、数据丢失。
• 设为-1代表关闭Broker侧基于时间的日志过期逻辑，这类主题的无用数据清理完全由Streams框架自身管控：框架确认对应分片的数据已经被所有下游消费实例完全处理、不再需要后，会主动触发删除，不需要依赖Broker的时间留存机制。

额外说明：retention.ms=-1不会阻止消费者消费主题数据，这不是你无法消费数据的根因，消费失败建议优先排查内部主题访问权限、消费者offset配置、消费组ID匹配度、主题是否已被框架标记待删除等问题。

根据你的集群和应用场景，选以下任意一种方式即可：

• 方式1：通过Streams配置参数指定（推荐）
  Kafka Streams 2.0及以上版本支持直接给自动创建的内部主题传递自定义Topic参数，在Streams应用的配置文件中添加对应项即可：

  # 配置生效范围：所有Streams自动创建的内部主题（含repartition重分区主题、changelog状态变更日志主题）
  topic.retention.ms=86400000 # 例：设置留存1天，单位为毫秒
  # 配置生效范围：仅针对repartition重分区主题生效，不影响changelog主题
  repartition.topic.retention.ms=86400000
  

  注意：该配置仅在主题第一次自动创建时生效，若repartition主题已经存在，配置变更不会同步修改已有主题的参数，需要手动执行命令更新：

  kafka-configs.sh --bootstrap-server <你的Kafka集群连接地址> --entity-type topics --entity-name <目标repartition主题名> --alter --add-config retention.ms=<你要设置的毫秒值>
  

• 方式2：提前手动创建主题
  你可以在启动Streams应用前，按照Streams的命名规则提前创建好对应的repartition主题，创建时自定义所有Topic参数（包括retention.ms）。Streams启动时检测到主题已存在，就不会执行自动创建逻辑，会直接复用你手动创建的主题。注意手动创建时需要保证分区数、副本数、清理策略等参数符合Streams的运行要求，否则会导致应用启动报错。

注意：不建议将repartition主题的retention.ms设置得过小，若应用停机时长超过留存周期，重启后会因为中间数据丢失触发计算异常，需要重置消费位点从头处理才能恢复。

内容的提问来源于stack exchange，提问作者Krissag