配置 OceanBase 数据源

OceanBase 数据源为您提供读取 OceanBase 数据的单向通道能力，实现将读取出来的数据，写入到不同的目标数据源中。
本文为您介绍 DataSail 的 OceanBase 数据同步的能力支持情况。

1 支持的 OceanBase 版本

• 离线读：

  支持自建 OceanBase Mysql & Oracle 模式，支持 3.x 版本和 4.x 版本。

2 使用限制

1. 当前仅支持离线读 OceanBase 数据，后续敬请期待离线写 OceanBase 能力。

2. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员

3 通用要求

为确保同步任务使用的独享集成资源组具有 OceanBase 数据库节点的网络访问能力，您需将独享集成资源组和 OceanBase 数据库节点网络打通，详见网络连通解决方案。

• 若通过 VPC 网络访问，则独享集成资源组所在 VPC 中的 IPv4 CIDR 地址，需加入到 OceanBase 访问白名单中：

  1. 确认集成资源组所在的 VPC：

     

  2. 查看 VPC 的 IPv4 CIDR 地址：

     注意

     若考虑安全因素，减少 IP CIDR 的访问范围，您至少需要将集成资源组绑定的子网下的 IPv4 CIDR 地址加入到数据库白名单中。

     

  3. 将获取到的 IPv4 CIDR 地址添加进 OceanBase 数据库白名单中。

• 若是通过公网形式访问 OceanBase 数据库，则您需进行以下操作：

  • 独享集成资源组开通公网访问能力，操作详见开通公网。

  • 并将公网 IP 地址，添加进 OceanBase 数据库白名单中。

4 支持的字段类型

当前不同模式主要字段支持情况如下：

• MySQL 模式

  字段类型	离线读（OceanBase Reader）
  BIT	支持
  BOOL	支持
  BOOLEAN	支持
  TINYINT	支持
  SMALLINT	支持
  MEDIUMINT	支持
  INT	支持
  INTEGER	支持
  BIGINT	支持
  DECIMAL	支持
  NUMERIC	支持
  FLOAT	支持
  DEC	支持
  DOUBLE	支持
  REAL	支持
  CHAR	支持
  VARCHAR	支持
  TINYTEXT	支持
  TEXT	支持
  MEDIUMTEXT	支持
  LONGTEXT	支持
  ENUM	支持
  JSON	支持
  SET	支持
  BINARY	支持
  VARBINARY	支持
  TINYBLOB	支持
  BLOB	支持
  MEDIUMBLOB	支持
  LONGBLOB	支持
  DATE	支持
  TIME	支持
  DATETIME	支持
  TIMESTAMP	支持
  YEAR	支持

• Oracle 模式

  字段类型	离线读（OceanBase Reader）
  NUMBER	支持
  FLOAT	支持
  BINARY_FLOAT	支持
  BINARY_DOUBLE	支持
  CHAR	支持
  NCHAR	支持
  VARCHAR2	支持
  NVARCHAR2	支持
  VARCHAR	支持
  CLOB	支持
  RAW	支持
  DATE	支持
  TIMESTAMP	支持
  TIMESTAMP WITH TIME ZONE	支持
  TIMESTAMP WITH LOCAL TIME ZONE	支持

5 数据同步任务开发

5.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍用连接串方式配置 OceanBase 数据源信息：

5.2 新建离线任务

OceanBase 数据源测试连通性成功后，进入到数据开发界面，开始新建 OceanBase 相关通道任务。
新建任务方式详见离线数据同步。

5.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 OceanBase 离线读通道任务。

5.3.1 OceanBase 离线读

数据来源选择 OceanBase，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.3.2 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。

• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

5.4 DSL 配置说明

OceanBase 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 OceanBase Reader 参数脚本代码，来运行数据集成任务。

3.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

3.4.2 OceanBase 离线读

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，OceanBase 离线读脚本示例如下：

// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "oceanbase",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 12345,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ],
            "filter": "id > 10",
            "split_pk": "split_pk_sample",
            "table_name": "table_name_sample"
        }
    },
    // writer config
    "writer": {
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

5.5 高级参数说明

• 对于可视化通道任务，读参数可在任务运行参数 > 自定义参数设置中配置，如下图所示：
  

• 对于 DSL 任务，读参数请配置到 reader.parameter 下，直接输入参数名称和参数值。如下图所示：

  

5.5.1 OceanBase 批式读常见参数