大数据研发治理套件（私有化）
大数据研发治理套件（私有化）
- 文档首页
大数据研发治理套件（私有化）数据集成离线整库同步基本配置
文档反馈
问问助手整库离线同步方案基本配置步骤参数说明如下：
基本信息
在基本信息中，配置解决方案的名称、方案类型、链路类型及保存路径位置。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。
基本配置说明：
配置项 | 说明 |
|---|---|
基本信息 | |
*链路类型 | 下拉选择来源和目标端数据源类型。 |
*方案类型选择 | 方案类型包括离线整库同步（一次性全量）、离线整库同步（周期性全量）、离线整库同步（一次性增量）、离线整库同步（周期性增量）、**离线整库同步（一次性全量周期性增量）**五种类型。您可按需进行选择。 |
*方案名称 | 输入离线整库同步方案名称。只允许字母、数字、下划线、连字符，且仅允许输入 1~63 个字符。 说明 解决方案实际生成的任务名称定义：
|
方案描述 | 输入此方案的描述信息，方便后续维护管理。 |
*保存至 | 单击选择框，在弹窗中选择方案保存路径，此路径为数据开发项目中的任务路径。创建方式详见“任务目录树管理”。 |
网络与资源配置
在网络与资源配置中，配置数据来源/目标端数据源信息、集成资源组信息。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。
网络与资源配置说明：
配置项 | 说明 |
|---|---|
*数据来源 | 下拉选择数据源管理中创建成功的源端数据源名称。 |
*数据目标 | 下拉选择数据源管理中创建成功的目标端数据源名称。 |
*绑定引擎 | 默认展示当前项目下已绑定的 Apache Hadoop、MiniBase Hadoop、或LAS引擎。 |
*关联实例 | 关联实例：选择引擎下对应的引擎实例信息。 |
*增量/全量集成任务队列 | 下拉选择DataLeap项目控制台 > 资源管理中已绑定的队列信息，队列操作详见“资源管理”。 |
资源组高级配置
您可在资源组高级配置中，配置全量同步、增量同步、任务调度等运行配置信息。各方案类型对应的运行配置项不同，您可根据实际情况进行配置。
队列选择
- 各全量和增量方案，需选择任务执行的Yarn队列信息，您可下拉选择资源管理平台中所添加的Yarn队列信息。队列操作详见“资源管理”。
- 默认Quota数：一次性同步方案（包括一次性全量、一次性增量、一次性全量周期性增量），需设置可同时提交执行的集成任务数量，可根据环境配置中Yarn队列规格进行配置。如队列规格为40CU，则Quota配置需小于20（40/2），超出时，会因资源问题导致任务执行异常。
说明
您也可按需勾选“每次提交执行时不询问”选项，建议您勾选。
若不勾选，方案每次提交执行时，在执行详情 > 任务 Quota 检测步骤中，需要人工进行 Quota 数确认。
通道配置
配置任务通道相关参数：
其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。配置项
说明
*期望最大并发数
设置离线任务同步时，可以从源端并行读取或并行写入目标端的最大线程数。
并发数影响数据同步的效率，并发设置越高对应资源消耗也越多，由于资源原因或者任务本身特性等原因，实际执行时并发数可能小于等于设置的期望最大并发数。*集成高级参数设置
打开高级参数输入按钮，根据实际业务要求，以 Key\Value 形式，在编辑框中输入离线任务所需的高级参数。参数配置详见“高级参数设置”中自定义参数设置说明。
资源组高级配置完成后，单击配置窗口右上角关闭按钮，退出配置窗口，并检查基本配置所有参数无误后，单击右下角下一步按钮，进行方案的映射配置。