Native Java Flink任务适用于实时任务开发场景,支持引用资源Jar包的方式,实现Java Flink原生任务的托管和运维
注意事项
不同 CDH、Hadoop 集群版本,支持的 Flink 版本如下:
- MiniBase Hadoop 集群:支持 Flink 1.15;
- Apache Hadoop、Apache Hadoop-MRS 集群、Apache Hadoop-EMR 集群、Apache Hadoop-TBDS 集群:支持 Flink 1.13、Flink 1.15、Flink 1.17。
新建任务
- 登录DataLeap控制台。
- 选择数据开发 > 任务开发,进入任务开发页面。
- 依次单击新建任务 > 数据开发 > Apache Hadoop/MiniBase Hadoop引擎。
- 关联实例:下拉选择已在项目配置中绑定的 Apache Hadoop 或 MiniBase Hadoop 集群实例信息。
- 选择流式数据 > Native Java Flink任务按钮。设置任务基本信息,单击确定按钮,完成创建。

编辑任务
- 引用资源
任务创建完成后,直接进入任务配置页面,设置引用资源。
- 选择Jar包:输入关键字搜索并选择已上传的jar包文件。您也可以单击新建资源按钮,直接新建,相关操作请参见“资源库”。
- 执行引擎:从下拉列表中,支持选择Native Flink-1.11、Native Flink-1.15、Native Flink-1.17版本,与集群中的 Flink 版本相关。
- Main Class:填写主类,例如:com.bytedance.flinkdemo.KafkaWordCount。
- 资源设置
设置任务运行时所需的执行资源,如TaskManager个数、JobManager CPU数等,可详见“参数设置”中“资源设置”相关设置说明。 - Flink运行参数
- 其他参数
其他参数设置操作,可详见“参数设置”中“Flink运行参数”相关设置说明。
- 用户自定义参数
用户自定义参数,填写实时数据来源端相关实例信息,例如 kafka 消息队列接入时,需要填写 Topic、接入点地址等参数信息。
- 单行编辑模式:填写 key-value,key值只允许字母、数字、小数点、下划线和连字符。
- 脚本编辑模式:通过JSON、Yaml的格式填写运行参数。
参数设置
单击右侧侧边栏的参数设置,进入参数设置页面,并完成相关参数配置。参数配置说明,请详见“参数设置”表中的数据源登记说明。