离线数据同步

1 数据源

数据集成使用的数据源，需要先在项目控制台下注册。离线数据同步支持的数据源类型，请参见：支持的数据源。
数据源需要在连通网络的前提下进行数据同步，相关说明请参见：配置网络连通 。
数据源的具体配置参数信息，请参见：配置数据源 。

2 配置任务

2.1 创建离线数据集成

创建离线数据集成任务的步骤如下：

1. 在数据开发页面，点击 新建任务 按钮，进入新建任务页面。

2. 任务类型选择 数据集成 > 离线集成 。

3. 输入任务名称，并选择目标文件夹。 注意： 任务名称必须是大小写字母、中文、数字、下划线（_）或小数点（.）

4. 点击 确定 按钮，完成任务新建，进入任务配置页面。

2.2 配置任务参数

新建离线集成任务后，需要配置任务信息，操作步骤如下：

1. 选择数据源。

   1. 配置数据来源信息。

   2. 选择写入目标。目标类型取决于当前版本数据源对应支持写入的存储。

      说明： 部分数据源写入时，需要选择数据写入方式。针对不同的数据源，有不同的写入方式。

2. 配置来源端和目标端字段的映射关系。

   • 点击 自动添加，可以根据数据源schema自动添加字段。仅部分数据源类型支持获取schema自动添加字段。

   • 点击 手动添加，可以添加一条空白的字段信息，手工输入字段名、类型等。

   • 点击 删除全部，可以删除全部字段信息。

3. 通过拖拽字段左侧的按钮，可以调整字段顺序。

   注意： 请注意列与列之间映射的字段类型是否数据兼容。

4. 设置以下任务运行参数。

   • 期望最大并发数：
     数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。

   • 脏数据设置：
     任务中字段映射没有匹配到的数据，如格式非法，或源端数据进入目标端时发生了异常。例如：源端是 String 类型的数据写到 INT 类型的目标字段中，因为类型转换不合理而无法写入的数据。
     您可以在同步任务配置时，设置脏数据的最大容忍条数/比例。如果配置0，表示不允许脏数据存在，任务会运行失败退出。

   • 自定义参数设置：
     单行编辑模式，需要设置参数 Key和value 值；脚本编辑模式，需要输入json串参数

5. 配置调度属性。

   1. 点击右侧的 调度设置 ，进入该任务的调度设置页面。

   2. 可以设置离线集成任务的运行周期、运行时间、调度依赖等属性。 更多说明请参见：任务调度设置

6. 配置数据集成资源组。

   1. 点击右侧的 数据集成资源组 ，进入数据集成资源组页面。

   2. 选择数据集成资源组。 更多说明请参见：数据集成资源组