本文将为您介绍数据集成任务，在不同场景下所使用到的高级参数配置及其相关说明。
具体场景使用参数说明详见高级参数附录。

离线集成任务配置说明 #

离线任务运行参数、数据源相关参数和资源使用参数均可配置到下图红框处。

1. 登录 DataLeap 租户控制台。
2. 选中任务所属的项目，进入数据开发界面，并打开需配置高级参数的集成任务。
3. 在【任务运行参数 > 自定义参数设置】中，添加相应的高级参数，添加示例：

流式集成任务配置说明 #

1. 数据源相关参数，任务运行参数等的配置，与离线集成任务中的配置方式一致：
   流式集成任务的高级参数，可在【任务运行参数 > 高级参数】中添加，添加示例：
   
2. 流式集成任务的资源参数，可直接在下图红框处进行可视化配置：
   

解决方案参数配置说明 #

数据同步解决方案高级参数设置，您可在方案的资源组高级配置或映射配置中的高级配置入口进行设置。
进入数据同步解决方案界面：

入口一： #

在方案编辑界面中，【基本配置 > 资源组高级配置】中，添加相应的离线、实时高级参数设置。

入口二： #

方案编辑界面，在映射配置步骤，目标库表映射配置 > 高级配置 > 高级参数配置中，添加相关高级参数。

高级参数附录 #

离线通用参数 #

流式通用参数 #

• studio.restart.attempts：
  流式集成任务支持通过设置 Flink 运行参数，来实现任务失败自动重试的能力。在参数设置 > Flink 运行参数中，设置 studio.restart.attempts=N参数，即可实现任务失败自动重试，其中“N”为自动重试次数，您可按需进行设置。
  

解决方案高级参数 #

Flink 运行参数

通过设置 Flink 运行参数，来实现任务失败自动重试的能力。
在数据同步解决方案任务编辑界面， 基本配置 > 资源组高级配置 > Flink 运行参数中，设置 studio.restart.attempts=N参数，即可实现实时任务失败自动重试，其中“N”为自动重试次数，您可按需进行设置。

参数配置方式详见解决方案参数配置说明-入口一。

高级参数

解决方案高级参数示例如下：

参数配置方式详见解决方案参数配置说明-入口二。

MySQL 高级参数 #

• job.reader.filter：
  数据过滤参数，过滤MySQL的数据时使用，实现增量同步，参数值参考相应MySQL语法，填写where之后的过滤语句。配置示例：job.reader.filter:date_time='${DATE}'
  

GaussDB 高级参数 #

• job.writer.write_mode:
  GaussDB（DWS）可支持 copy_from_stdin 的方式进行批量写入，用户需在任务的高级参数中进行如下配置，高级参数的配置，可参考离线集成任务配置说明。
  job.writer.write_mode : copy

HBase 高级参数 #

• 集成任务场景中若需要使用 Kerberos 认证方式写入 HBase 时，可在高级参数中添加以下参数：job.writer.platform_kerberos_enable=true
  
  该参数开启后，任务将使用 Kerberos 认证方式进行 HBase 写入，同时在 HBase 数据源配置时也需添加相应的数据源高级参数，详见HBase。
• 当集成任务场景中不使用 Kerberos 认证方式写入 HBase 时，需在高级参数中添加以下参数：
  • job.writer.platform_kerberos_enable=false
  • job.common.hbase.disable_zookeeper_sasl=true
    

Hive 高级参数 #

在通道任务里，若源端为 MySQL、PostgreSQL、SQL Server 或者 Oracle，并且源端数据表中的字段类型是 Varchar，当 Varchar 字段的精度发生改变时，写入 Hive 目标端的 Varchar 字段数据可能会出现被截断的场景，在此场景下，添加以下高级参数后：

• 当源端字段长度 > 目标端字段长度时，目标端的 Varchar 字段长度自动更新为源端字段长度，数据正常写入，从而避免源端数据因长度过长而被截断的情况；
• 当源端字段长度 < 目标端字段长度时，目标端的 Varchar 字段长度不变，数据正常写入。

当以下指定范围内的数据库及字段类型发生长度加长时，且目标端的 Hive 表使用 varchar 字段类型，可自动为 Hive 表的 varchar 类型的长度自动增加：

• MySQL：char、varchar
• Oracle：char、nchar、nvarchar2、varchar、varchar2
• PostgreSQL：character、char、varchar、character varying、bit varying
• SQLServer：char、varchar、nchar、nvarchar

--添加以下高级参数：
job.writer.table_operations={"createTable":"IGNORE","addTableColumn":"EXECUTE","renameTable":"IGNORE","truncateTable":"IGNORE","updateTableColumn":"EXECUTE","renameTableColumn":"IGNORE","dropTable":"IGNORE","dropTableColumn":"IGNORE"}

job.common.interceptor_name=batch_catalog_v2

Kafka 高级参数 #

• job.writer.key_fields：
  离线集成任务写入 Kafka 时，支持通过该高级参数自定义指定写入 Kafka 数据记录的关键字段。可根据这些关键字段进行正确的分区、索引或其他数据相关的处理，例如，在一个订单系统中，以订单 ID 作为 Kafka message key，那属于同一个订单的所有消息都会被发送到同一个分区，方便后续对订单相关数据进行集中处理和查询。
  job.writer.key_fields:id,name,age 。

• job.writer.write_map_null_value：
  当离线集成的目标端是Kafka时，支持指定对源端空值（null）的处理方式。 支持输入true、false。

  参数值	作用
  false（默认值）	源端的值为null时，Kafka中的那一条的消息中的JSON，其中的key不存在（即空数据的key不写入）
  true	源端的值为null时，Kafka中的JSON中的key存在，value为null

  下面以MySQL -> Kafka为例：

  -- MySQL的表结构
  CREATE TABLE `demo` (
    `customer_id` int(11),
    `name` varchar(50),
    `address` varchar(100),
    `date_of_birth` date,
    `create_time` timestamp,
    `modify_time` timestamp,
    `age` int(11),
    `salary` decimal(30,5),
    PRIMARY KEY (`customer_id`)
  );
  

  • MySQL中的数据
    

  • 参数效果

    参数值	作用
    false（默认值）
    true

LAS 高级参数 #

在普通通道任务里，若源端为 MySQL、PostgreSQL、SQL Server 或者 Oracle，以下两个场景中，可添加以下高级参数来实现：

• 源端数据表中的字段类型是 Varchar，当 Varchar 字段的精度发生改变时，写入 LAS 目标端的 Varchar 字段数据可能会出现被截断的场景，在此场景下，添加以下高级参数后：
  • 当源端字段长度 > 目标端字段长度时，目标端的 Varchar 字段长度自动更新为源端字段长度，数据正常写入，从而避免源端数据因长度过长而被截断的情况；
  • 当源端字段长度 < 目标端字段长度时，目标端的 Varchar 字段长度不变，数据正常写入。
    当以下指定范围内的数据库及字段类型发生长度加长时，且目标端的 LAS 表使用 varchar 字段类型，可自动为 LAS 表的 varchar 类型的长度自动增加：
  • MySQL：char、varchar
  • Oracle：char、nchar、nvarchar2、varchar、varchar2
  • PostgreSQL：character、char、varchar、character varying、bit varying
  • SQLServer：char、varchar、nchar、nvarchar

  说明

  • 以下高级参数仅能处理上述场景。当发生varchar长度缩短、字段类型变更（例如int转varchar）时无法处理。
  • 以下高级参数仅在普通通道任务中生效，解决方案中以下参数暂不生效。
• 源端表增加字段，添加以下高级参数后，目标端 LAS 表中将同时增加相同的字段信息。

--添加以下高级参数：
job.writer.table_operations={"createTable":"IGNORE","addTableColumn":"EXECUTE","renameTable":"IGNORE","truncateTable":"IGNORE","updateTableColumn":"EXECUTE","renameTableColumn":"IGNORE","dropTable":"IGNORE","dropTableColumn":"IGNORE"}

job.common.interceptor_name=batch_catalog_v2