配置 Greenplum 数据源

Greenplum 数据源为您提供写入 Greenplum 数据的单向通道能力，实现将不同数据源上的数据，通过离线数据集成方式，同步到 Greenplum 数据库中。
本文为您介绍 DataSail 的 Greenplum 数据同步的能力支持情况。

1 支持的 Greenplum 版本

• 离线写：
  • 支持自建 Greenplum 数据库，6.x 版本。

2 使用限制

1. 当前仅支持离线写 Greenplum 数据，后续敬请期待离线读 Greenplum 能力。

2. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员。

3 通用要求

• 为确保同步任务使用的独享集成资源组具有 Greenplum 数据库节点的网络访问能力，您需将独享集成资源组和 Greenplum 数据库节点网络打通，详见网络连通解决方案。

• 若通过 VPC 网络访问，则独享集成资源组所在 VPC 中的 IPv4 CIDR 地址，需加入到 Greenplum 访问白名单中：

  1. 确认集成资源组所在的 VPC：

     

  2. 查看 VPC 的 IPv4 CIDR 地址：

     注意

     若考虑安全因素，减少 IP CIDR 的访问范围，您至少需要将集成资源组绑定的子网下的 IPv4 CIDR 地址加入到数据库白名单中。

     

  3. 将获取到的 IPv4 CIDR 地址添加进 Greenplum 数据库白名单中。

• 若是通过公网形式访问 Greenplum 数据库，则您需进行以下操作：

  • 独享集成资源组开通公网访问能力，操作详见开通公网。

  • 并将公网 IP 地址，添加进 Greenplum 数据库白名单中。

4 支持的字段类型

当前主要字段支持情况如下

5 数据同步任务开发

5.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍用连接串方式配置 Greenplum 数据源信息：

5.2 新建离线任务

Greenplum 数据源测试连通性成功后，进入到数据开发界面，开始新建 Greenplum 相关通道任务。
新建任务方式详见离线数据同步。

5.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 Greenplum 离线写通道任务。

5.3.1 Greenplum 离线写

数据目标端选择 Greenplum，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.3.2 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。

• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

5.4 DSL 配置说明

Greenplum 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 Greenplum Writer 参数脚本代码，来运行数据集成任务。

5.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

5.4.2 Greenplum Writer

根据实际情况替换 Greenplum 批式写相应参数，Greenplum 批式写脚本示例如下：

// **************************************
// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "xx",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
          
        }
    },
    // writer config
    "writer": {
        // [required] datasource type
        "type": "greenplum",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 12345,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "table_schema":"public",
            "table_name":"table_1",
            "pre_sql":[""],
            "post_sql":[""],
            "write_mode":"directlyInsert",
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ]
        }
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

5.5 高级参数说明

• 对于可视化通道任务，写参数需要加上 job.writer. 前缀，如下图所示：

  

• 对于 DSL 任务，写参数请配置到 writer.parameter 下，直接输入参数名称和参数值。如下图所示：

  

5.5.1 Greenplum 离线读

离线写支持以下高级参数，您可根据实际情况进行配置：