You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
Apache Hadoop/MiniBase Hadoop
Native-Java-Flink任务
复制全文
Native-Java-Flink任务

Native Java Flink任务适用于实时任务开发场景,支持引用资源Jar包的方式,实现Java Flink原生任务的托管和运维

注意事项

不同 CDH、Hadoop 集群版本,支持的 Flink 版本如下:

  • MiniBase Hadoop 集群:支持 Flink 1.15;
  • Apache Hadoop、Apache Hadoop-MRS 集群、Apache Hadoop-EMR 集群、Apache Hadoop-TBDS 集群:支持 Flink 1.13、Flink 1.15、Flink 1.17。

新建任务

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 任务开发,进入任务开发页面。
  3. 依次单击新建任务 > 数据开发 > Apache Hadoop/MiniBase Hadoop引擎
  4. 关联实例:下拉选择已在项目配置中绑定的 Apache HadoopMiniBase Hadoop 集群实例信息。
  5. 选择流式数据 > Native Java Flink任务按钮。设置任务基本信息,单击确定按钮,完成创建。

Image

编辑任务

  1. 引用资源
    任务创建完成后,直接进入任务配置页面,设置引用资源。
    • 选择Jar包:输入关键字搜索并选择已上传的jar包文件。您也可以单击新建资源按钮,直接新建,相关操作请参见“资源库”。
    • 执行引擎:从下拉列表中,支持选择Native Flink-1.11、Native Flink-1.15、Native Flink-1.17版本,与集群中的 Flink 版本相关。
    • Main Class:填写主类,例如:com.bytedance.flinkdemo.KafkaWordCount。
  2. 资源设置
    设置任务运行时所需的执行资源,如TaskManager个数、JobManager CPU数等,可详见“参数设置”中“资源设置”相关设置说明。
  3. Flink运行参数
    • 其他参数
      其他参数设置操作,可详见“参数设置”中“Flink运行参数”相关设置说明。
  4. 用户自定义参数
    用户自定义参数,填写实时数据来源端相关实例信息,例如 kafka 消息队列接入时,需要填写 Topic、接入点地址等参数信息。
    • 单行编辑模式:填写 key-value,key值只允许字母、数字、小数点、下划线和连字符。
    • 脚本编辑模式:通过JSON、Yaml的格式填写运行参数。

参数设置

单击右侧侧边栏的参数设置,进入参数设置页面,并完成相关参数配置。参数配置说明,请详见“参数设置”表中的数据源登记说明。

最近更新时间:2025.10.11 17:18:47
这个页面对您有帮助吗?
有用
有用
无用
无用