Kafka连接器SMT错误处理及DLQ有效性确认咨询

首先明确：Kafka Connect的错误处理机制（包括死信队列DLQ）默认对SMT阶段抛出的错误是生效的，如果没触发，大概率是配置遗漏或理解偏差，以下是关键细节：

• SMT错误的触发逻辑：当SMT在transform()方法中抛出未捕获的异常时，会被Connect框架捕获并进入错误处理流程。但如果SMT内部自行捕获异常并返回修改后的Record（哪怕无效），框架不会判定为错误，自然不会触发DLQ。

• 必须配置的核心参数：

  • errors.tolerance：需设置为all（允许跳过错误记录），若设为none，连接器会直接停止，不会触发DLQ。
  • errors.deadletterqueue.topic.name：指定DLQ主题名称，需确保主题已提前创建，且连接器有写入权限。
  • errors.deadletterqueue.context.headers.enable：建议设为true，会将错误上下文（如异常信息、原始记录偏移量）写入DLQ消息Header，便于排查。

• 多SMT场景的注意点：多个SMT按配置顺序链式执行，任意一个SMT抛出未捕获异常时，处理链直接中断，进入错误处理流程，不会继续执行后续SMT。

• 排查步骤：

  1. 检查SMT代码是否自行吞掉异常，比如用try-catch捕获后未重新抛出。
  2. 确认错误处理参数是全局连接器配置（而非单个SMT配置），且参数值正确。
  3. 查看连接器日志，搜索DeadLetterQueue或异常栈信息，确认错误是否被框架捕获。
  4. 验证DLQ主题权限，确保连接器用户拥有WRITE权限。

正确配置示例：

name=my-source-connector
connector.class=...
tasks.max=1
# SMT配置
transforms=smt1,smt2
transforms.smt1.type=...
transforms.smt2.type=...
# 错误处理配置
errors.tolerance=all
errors.deadletterqueue.topic.name=my-connector-dlq
errors.deadletterqueue.context.headers.enable=true
errors.log.enable=true
errors.log.include.messages=true

内容的提问来源于stack exchange，提问作者suraj shinde