如何为Confluent HDFS Kafka连接器构建Fat Jar并指定入口类？

我之前也碰到过类似的依赖缺失问题，Confluent的HDFS连接器是Sink类型的Kafka Connect连接器，它的核心入口类是：
io.confluent.connect.hdfs.HdfsSinkConnector

这个类是连接器实现Kafka Connect Connector接口的主类，构建Fat Jar时指定它，才能让Kafka Connect正确识别并加载整个连接器包，同时把你的自定义库依赖打包进去，解决类找不到的异常。

推荐用Maven Shade插件构建Fat Jar的配置示例 #

在你的pom.xml中添加以下插件配置，注意指定上述入口类：

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.4.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <!-- 指定连接器入口类 -->
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <mainClass>io.confluent.connect.hdfs.HdfsSinkConnector</mainClass>
                            </transformer>
                            <!-- 合并META-INF下的服务文件，避免Kafka Connect无法加载扩展 -->
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
                        </transformers>
                        <!-- 排除重复或冲突的签名文件，避免打包报错 -->
                        <filters>
                            <filter>
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                        </filters>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

额外注意点 #

• 如果你用的是Confluent Platform的特定版本，最好核对下源码确认入口类路径（不同版本基本都是这个路径，但避免版本差异导致的问题）
• 构建完成后，把生成的Fat Jar放到Kafka Connect的plugin.path指定的目录下，重启Connect服务即可生效

内容的提问来源于stack exchange，提问作者NoName