You need to enable JavaScript to run this app.
导航
自定义连接器
最近更新时间:2023.09.12 16:22:50首次发布时间:2023.09.12 16:22:50

流式计算 Flink 提供了多种常用内置连接器,如果内置连接器仍不满足需求,您可以选择自定义连接器。目前 Flink 控制台支持通过添加依赖文件的方式,在任务运行时动态加载并调用您的自定义连接器。

步骤一:构建自定义连接器源码

您在开发自定义连接器时需要遵循社区定义的连接器标准,自定义连接器才可以被 Flink 识别并使用,因此您需要明确连接器 Meta 文件和声明 Factory 类。自定义连接器开发更多信息,请参见User-defined Sources & Sinks
建议您参考内置连接器项目,修改pom.xml配置文件并引入相关依赖包,然后通过 Maven 构建 JAR 包。

说明

为了避免您构建的自定义连接器 JAR 包与 Flink 平台产生类冲突,建议您将依赖采用 Shade 方式打包。Shade打包详情,请参见Apache Maven Shade Plugin

步骤二:上传连接器 JAR 包

当您完成自定义连接器 JAR 包的构建后,您可以将 JAR 包上传到 Flink 平台的资源库进行统一管理。
图片

在目标任务的 Flink 参数中,可以将自定义连接器的 JAR 包添加为依赖文件,后续任务在运行时将会动态加载并调用。
图片