You need to enable JavaScript to run this app.
导航

高级参数

最近更新时间2024.01.19 19:05:58

首次发布时间2022.05.27 15:34:06

1 任务运行参数

参数名称

参数说明

默认值

job.common.global_parallelism_num

连接器的全局并发数,只适用于流任务
该参数会决定启动多少个 TaskManager。

  • 如果 MQ 中的流量较小,则可通过在任务高级参数中指定此参数来控制作业的全局并发。
  • 如果 MQ 的 Partition 个数很多,但数据流量并不高,亦可通过此参数来节约任务的执行资源。

MQ Partition 个数 / 4

job.common.checkpoint_interval

每次 Checkpoint 时间间隔,单位为毫秒,只适用于流任务

900000

job.common.checkpoint_timeout

Checkpoint 超时时间,单位为毫秒,只适用于流任务

600000

job.common.dirty_record_skip_enabled

是否跳过脏数据。

true

job.reader.reader_parallelism_num、
job.writer.writer_parallelism_num

连接器的读并发和写并发,只适用于离线任务
不建议配置,不合理的配置会造成资源浪费或导致执行变慢。

无默认值,系统根据数据量大小自动推算并发数。

2 资源使用相关参数

注意

资源使用参数只适用于离线集成任务。
流式集成任务的资源参数,可按照下面【流式集成任务配置说明】章节中的介绍,直接在页面中选配即可。

参数名称

参数说明

默认值

job.common.flink_tm_vcores

每个 Task Manager 使用的 CPU 核数。

1.0

job.common.slots_per_tm

每个 Task Manager 默认 slot 的数量。

2

job.common.flink_tm_slot_memory

每个 Task Manager 中的各个 slot 的内存大小,单位为 MB。

  • 取值说明:每个 Task Manager 的 CPU 和内存(GB)的比例,必须满足:flink_tm_vcores : (flink_tm_slot_memory [GB] * slots_per_tm) = 1:2 或 1:4
  • 取值示例:flink_tm_vcores = 4.0,slots_per_tm = 2,则 flink_tm_slot_memory 必须为 4GB 或 8GB,即配置为 4096 或 8192。

2048

job.common.flink_tm_task_off_heap_memory

每个 Task Manager 的堆外内存占总内存的比例。

0.125

job.common.flink_tm_managed_memory_ratio

每个 Task Manager 的托管内存占总内存的比例。

0.2

job.common.flink_tm_network_max

每个 Task Manager 的网络内存的最大值,单位为 GB,配置时使用小写字母 g 即可。

2g

job.common.flink_jm_vcores

Flink Job Manager 的 CPU 核数。

1.0

job.common.flink_jm_memory

Flink Job Manager 的总内存大小,单位为 MB。

4096

job.common.flink_jm_off_heap_memory

Flink Job Manager 的堆外内存占总内存的比例。

0.125

3 数据源相关参数

数据源相关参数请到各数据源文档进行查看支持的数据源

4 配置说明

4.1 离线集成任务配置说明

离线任务运行参数、数据源相关参数和资源使用参数均配置到下图红框处。

  1. 登录 DataLeap 租户控制台
  2. 进入具体项目的数据开发界面,并打开需配置高级参数的任务。
  3. 任务运行参数 > 自定义参数设置处,添加相应的高级参数设置。

图片

4.2 流式集成任务配置说明

  • 任务运行参数和数据源相关参数配置与离线集成任务配置一致。
  • 流式资源使用相关参数可直接在下图红框处进行可视化配置。
    图片