参数名称 | 参数说明 | 默认值 |
---|---|---|
job.common.global_parallelism_num | 连接器的全局并发数,只适用于流任务。
| MQ Partition 个数 / 4 |
job.common.checkpoint_interval | 每次 Checkpoint 时间间隔,单位为毫秒,只适用于流任务。 | 900000 |
job.common.checkpoint_timeout | Checkpoint 超时时间,单位为毫秒,只适用于流任务。 | 600000 |
job.common.dirty_record_skip_enabled | 是否跳过脏数据。 | true |
job.reader.reader_parallelism_num、 | 连接器的读并发和写并发,只适用于离线任务。 | 无默认值,系统根据数据量大小自动推算并发数。 |
job.writer.case_insensitive | 大小写不敏感。 | true |
job.writer.pre_sql_list | 写入数据源前置处理 SQL List ,格式是 json 数组,如: | 空 |
注意
资源使用参数只适用于离线集成任务。
流式集成任务的资源参数,可按照下面【流式集成任务配置说明】章节中的介绍,直接在页面中选配即可。
参数名称 | 参数说明 | 默认值 |
---|---|---|
job.common.flink_tm_vcores | 每个 Task Manager 使用的 CPU 核数。
| 1.0 |
job.common.slots_per_tm | 每个 Task Manager 默认 slot 的数量。 | 2 |
job.common.flink_tm_slot_memory | 每个 Task Manager 中的各个 slot 的内存大小,单位为 MB。
| 2048 |
job.common.flink_tm_task_off_heap_memory | 每个 Task Manager 的堆外内存占总内存的比例。 | 0.125 |
job.common.flink_tm_managed_memory_ratio | 每个 Task Manager 的托管内存占总内存的比例。 | 0.2 |
job.common.flink_tm_network_max | 每个 Task Manager 的网络内存的最大值,单位为 GB。
| 2g |
job.common.flink_jm_vcores | Flink Job Manager 的 CPU 核数。
| 1.0 |
job.common.flink_jm_memory | Flink Job Manager 的总内存大小,单位为 MB。
| 4096 |
job.common.flink_jm_off_heap_memory | Flink Job Manager 的堆外内存占总内存的比例。 | 0.125 |
数据源相关参数请到各数据源文档进行查看支持的数据源。
离线任务运行参数、数据源相关参数和资源使用参数均配置到下图红框处。