Strimzi Kafka Connect无法找到自定义Transformer但能识别Connector

问题背景 #

基于Strimzi 0.29.0-kafka-3.0.1构建Kafka Connect镜像，已将自定义SMT的jar包放入/opt/kafka/plugins目录，集群日志显示jar已成功加载，但配置S3 Sink连接器时返回400错误：

Invalid value for configuration transforms..type: Class could not be found.
Invalid value null for configuration transforms..type: Not a Transformation

已确认jar包存在且包含目标类，同目录下的Lenses S3连接器可正常识别。

排查与解决步骤 #

1. 核实类的全限定名 #

配置中transforms.<NAME>.type必须填写完整的包名+类名，不能仅写类名。

• 执行以下命令确认类的全限定名：

  unzip -p /opt/kafka/plugins/<FILE>.jar <CLASS>.class | javap -c | grep "package"
  

• 将配置中的<CLASS>替换为输出的完整包路径+类名。

2. 确认类实现了Transformation接口 #

自定义SMT必须实现Kafka Connect的org.apache.kafka.connect.transforms.Transformation接口（或对应泛型接口：Transformation<SourceRecord>/Transformation<SinkRecord>）。

• 检查jar中的类是否正确实现该接口，若未实现，Kafka Connect会判定其不是合法的Transformation类型，触发第二个错误。

3. 调整插件目录结构 #

Kafka Connect要求每个插件（连接器/SMT）放在独立子目录下，不能直接将jar放入/opt/kafka/plugins根目录（这会触发类加载隔离机制，导致无法识别）。

• 修改Dockerfile，为自定义SMT创建单独子目录：

  FROM quay.io/strimzi/kafka:0.29.0-kafka-3.0.1
  USER root:root
  RUN mkdir -p /opt/kafka/plugins/kafka-connect-aws-s3 /opt/kafka/plugins/custom-smt
  COPY --from=unpacker /unpack/kafka-connect-aws-s3 /opt/kafka/plugins/kafka-connect-aws-s3
  COPY ./<FILE>.jar /opt/kafka/plugins/custom-smt/
  USER 1001
  

• 重启Connect集群，让插件加载器正确识别该目录。

4. 检查类依赖完整性 #

自定义SMT的jar包需包含所有依赖类，若依赖外部库且未打包入jar，会导致类初始化失败。

• 执行jar tf <FILE>.jar查看jar内容，确认所有依赖类已包含；若依赖外部库，需将其也放入自定义SMT的插件子目录中。

5. 查看详细插件加载日志 #

过滤后的日志可能遗漏关键错误信息，执行以下命令查看完整加载日志：

kubectl logs kafka-topics-backup-aws-connect-9f564bdcb-5qnp6 | grep -A 15 -B 5 "<FILE>.jar"

查找是否有类加载警告、依赖缺失或权限相关的报错信息。

6. 验证类加载可行性 #

进入Connect容器，手动验证类是否可被加载：

kubectl exec -it kafka-topics-backup-aws-connect-9f564bdcb-5qnp6 -- bash
# 尝试用Kafka类加载器加载目标类
/opt/kafka/bin/kafka-run-class.sh org.apache.kafka.connect.cli.ConnectStandalone /dev/null /dev/null --classpath /opt/kafka/plugins/custom-smt/<FILE>.jar

若加载失败，会输出具体的异常信息，帮助定位问题。

内容的提问来源于stack exchange，提问作者James F