Kafka-Kinesis Connector启动失败：NoClassDefFoundError问题求助

错误核心原因 #

java.lang.NoClassDefFoundError: com/amazonaws/services/kinesisfirehose/model/AmazonKinesisFirehoseException 本质是运行时依赖缺失，和AWS权限无关——权限问题通常会报AccessDeniedException或类似权限相关错误，而非类找不到。

具体原因 #

你用Maven编译出的kinesis-kafka-connector.jar只包含了连接器自身的代码，没有打包依赖的AWS SDK for Kinesis Firehose模块。Kafka Connect运行时找不到Firehose相关的类，导致连接器初始化后无法正常处理数据，所以日志显示“Created connector”但S3无数据流入。

解决步骤 #

• 方法1：打包包含所有依赖的可执行jar
  修改项目的pom.xml，添加maven-shade-plugin或maven-assembly-plugin插件，打包时把所有依赖（包括AWS SDK Firehose模块）合并到一个jar里。示例配置（以shade插件为例）：

  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.4.1</version>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                  <mainClass>com.amazonaws.services.kinesis.kafka.MainClass</mainClass> <!-- 替换为连接器实际主类 -->
                </transformer>
              </transformers>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
  

  重新执行mvn package，用生成的shaded jar替换原来的kinesis-kafka-connector.jar。

• 方法2：单独补充依赖jar
  下载AWS SDK for Kinesis Firehose的相关jar包（包括aws-java-sdk-kinesisfirehose及其依赖的aws-java-sdk-core等），将这些jar和你的kinesis-kafka-connector.jar放在同一个目录下，确保worker.properties中的plugin.path指向这个目录（注意是目录路径，不是单个jar路径）。

额外验证 #

重启连接器后，检查日志是否不再出现NoClassDefFoundError，同时确认：

• Firehose的配置（如Delivery Stream名称）在kinesis-firehose-kafka-connector.properties中正确填写
• 运行Kafka Connect的进程有足够的AWS权限访问Firehose和S3（可通过IAM角色或环境变量配置AWS凭证）

内容的提问来源于stack exchange，提问作者Adam Prior