配置 Redis 数据源

Redis 数据源为您提供读取和写入 Redis 数据的双向通道能力，实现不同数据源与 Redis 之间进行数据传输。
本文为您介绍 DataSail 的 Redis 数据同步的能力支持情况。

1 支持的 Redis 版本

• 脚本模式（DSL）离线读：
  • 支持自建 Redis 单机部署模式。
• 可视化离线读写：
  • 支持火山引擎云 NoSQL 数据库 Redis 版。
  • 支持自建 Redis 单机部署模式。

2 使用限制

• 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
• 为确保同步任务使用的独享集成资源组具有 Redis 数据库节点的网络访问能力，您需将独享集成资源组和 Redis 数据库节点网络打通，详见网络连通解决方案。
• 若通过 VPC 网络访问，则独享集成资源组所在 VPC 中的 IPv4 CIDR 地址，需加入到 Redis 访问白名单中：
  1. 确认集成资源组所在的 VPC：
     
  2. 查看 VPC 的 IPv4 CIDR 地址：

     注意

     若考虑安全因素，减少 IP CIDR 的访问范围，您至少需要将集成资源组绑定的子网下的 IPv4 CIDR 地址加入到数据库白名单中。

     
  3. 将获取到的 IPv4 CIDR 地址添加进 Redis 数据库白名单中。
• 若是通过公网形式访问 Redis 数据库，则您需进行以下操作：
  • 独享集成资源组开通公网访问能力，操作详见开通公网。
  • 并将公网 IP 地址，添加进 Redis 数据库白名单中。

3 支持的字段类型

当前主要字段支持情况如下。

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍用不同方式来配置 Redis 数据源信息：

1. 火山引擎 Redis 数据源方式
   其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Redis
   *接入方式	火山引擎 Redis
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *Redis 实例 ID	下拉选择已在火山引擎 NoSQL 数据库中创建的 Redis 实例名称信息。 若您还未创建 Redis 实例，您可前往 Redis 实例控制台中创建，详见创建实例。
   *用户名	输入有权限访问数据库的用户名信息。
   *密码	输入用户名对应的密码信息。
   Access Key ID	进入火山引擎，访问控制台的密钥管理界面，复制 Accesskey ID 填写到此处。如果为子用户，请联系主账号获取密钥。
   Secret Access Key	与 Access Key ID 配套使用，类似登录密码，用于签名您的访问参数，以防被篡改。

2. 普通 Redis 数据源连接串方式
   其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Redis
   *接入方式	连接串
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *主机名或 IP 地址	填写 Redis 数据库所在的主机名或 IP 地址信息。
   *端口	用于访问 Redis 的端口信息，一般为6379。
   用户名	输入有权限访问数据库的用户名信息。
   密码	填写用于登录 Redis 的密码信息。

4.2 新建离线任务

Redis 数据源测试连通性成功后，进入到数据开发界面，开始新建 Redis 相关通道任务。
新建任务方式详见离线数据同步。

4.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 Redis 离线读 或 Redis 离线写通道任务。

4.3.1 Redis 离线读

数据来源端选择 Redis，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 Redis 离线写

数据目标端选择 Redis，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.3 字段映射

字段为一一映射关系，即将源表字段信息，同步到同一行的目标字段信息中。选择好来源和目标数据源信息后，您可进行以下操作：

• Redis离线读字段配置，默认有以下7个字段信息组成，暂不支持手动调整或删除：
  • key：Redis 中 key 内容数据。
  • type：支持数据格式类型 kv,set,list,map,zset。
  • expire：数据过期时间。
  • value：数据格式为 string 时，对应的数据内容。
  • values：数据格式为 set | list 时，对应的数据内容。
  • hash：数据格式为 hash 时，对应的数据内容。
  • zset：数据格式为 zset 时，对应的数据内容。
• Redis 目标端字段映射配置，根据上面配置的写入字段类型，自动获取字段映射，不支持手动添加和删除。

4.4 DSL 配置说明

Redis 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 Redis Reader 或 Redis Writer 参数脚本代码，来运行数据集成任务。

4.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

4.4.2 Redis Reader

根据实际情况替换 Redis Reader 相应参数，Redis Reader 脚本示例如下：

// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "redis",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 12345,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "class":"com.bytedance.bitsail.connector.redis.source.RedisSource",
            "nodes":"xxx.xx.xx.xx:xx",
            "auth":"xxxxxxxxx",
            "columns": [
                {
                    "upperCaseName":"KEY",
                    "name":"key",
                    "type":"string"
                },
                {
                    "upperCaseName":"TYPE",
                    "name":"type",
                    "type":"string"
                },
                {
                    "upperCaseName":"EXPIRE",
                    "name":"expire",
                    "type":"bigint"
                },
                {
                    "upperCaseName":"VALUE",
                    "name":"value",
                    "type":"string"
                },
                {
                    "upperCaseName":"VALUES",
                    "name":"values",
                    "type":"array<string>"
                },
                {
                    "upperCaseName":"HASH",
                    "name":"hash",
                    "type":"MAP<string,string>"
                },
                {
                    "upperCaseName":"ZSET",
                    "name":"zset",
                    "type":"MAP<string,string>"
                }
            ]
        },
    // writer config
    "writer": {
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

[
    {
        "upperCaseName":"KEY",
        "name":"key",
        "type":"string"
    },
    {
        "upperCaseName":"TYPE",
        "name":"type",
        "type":"string"
    },
    {
        "upperCaseName":"EXPIRE",
        "name":"expire",
        "type":"bigint"
    },
    {
        "upperCaseName":"VALUE",
        "name":"value",
        "type":"string"
    },
    {
        "upperCaseName":"VALUES",
        "name":"values",
        "type":"array<string>"
    },
    {
        "upperCaseName":"HASH",
        "name":"hash",
        "type":"MAP<string,string>"
    },
    {
        "upperCaseName":"ZSET",
        "name":"zset",
        "type":"MAP<string,string>"
    }
]

4.4.3 Redis Writer

根据实际情况替换 Redis Writer 相应参数，Redis Writer 脚本示例如下：

// **************************************
// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "xx",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
          
        }
    },
    // writer config
    "writer": {
        // [required] datasource type
        "type": "redis",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 12345,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "class":"com.bytedance.dts.batch.redis.VolcRedisOutputFormat",
            "ttl_type": "DAY",
            "ttl": -1,
            "redis_data_type":"string",
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ]
        }
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

5 高级参数说明

• 对于可视化通道任务，写参数需要加上 job.writer. 前缀，如下图所示：
  
• 对于 DSL 任务，读参数请配置到 reader.parameter 下，写参数请配置到 writer.parameter 下，直接输入参数名称和参数值。如下图所示：
  

5.1 Redis 离线读

5.2 Redis 离线写