关于删除目标主题后Kafka Streams重试行为及超时配置的咨询

结论确认 #

你的调研结论大部分正确：

• Kafka Streams默认确实会持续重试消息，直到目标主题恢复上线，这是因为它的任务故障重试逻辑独立于Producer配置。
• 你对task.timeout.ms、request.timeout.ms、retries=0的作用范围判断没错：
  • task.timeout.ms：仅控制无响应任务的重启延迟，并非停止重试的阈值
  • request.timeout.ms和retries：属于Producer级配置，仅影响Streams内部Producer发消息的行为，无法终止Streams任务级别的重试循环

强制停止重试的配置方案 #

要让Kafka Streams在指定时间后停止重试，需配置以下关键参数：

• processing.guarantee: 必须先将其设为at_least_once（默认是exactly_once_v2，该模式下会强制持续重试，无法终止）
• max.task.idle.ms: 当任务持续空闲（无法处理或发送消息）超过这个时间阈值时，Streams会将任务标记为失败并停止重试，单位为毫秒。例如设置300000即5分钟
• 若使用备用副本，num.standby.replicas需设置合理，避免备用任务触发额外重试

另外，还可以自定义ProductionExceptionHandler捕获发送失败异常，达到时间阈值时主动抛出致命异常让Streams终止任务。示例代码：

public class CustomProductionExceptionHandler implements ProductionExceptionHandler {
    private long maxRetryTimeMs;
    private long startTime;

    @Override
    public void configure(Map<String, ?> configs) {
        maxRetryTimeMs = Long.parseLong(configs.get("max.retry.time.ms").toString());
        startTime = System.currentTimeMillis();
    }

    @Override
    public ProductionExceptionHandlerResponse handle(ProducerRecord<byte[], byte[]> record, Exception exception) {
        if (System.currentTimeMillis() - startTime >= maxRetryTimeMs) {
            // 达到超时时间，返回FAIL终止任务
            return ProductionExceptionHandlerResponse.FAIL;
        }
        // 未超时则继续重试
        return ProductionExceptionHandlerResponse.RETRY;
    }
}

然后在Streams配置中指定处理器和超时时间：

production.exception.handler=com.yourpackage.CustomProductionExceptionHandler
max.retry.time.ms=300000

内容的提问来源于stack exchange，提问作者MartinDM