配置 SQLServer 数据源

SQLServer 数据源为您提供读取和写入 SQLServer 的双向通道能力。
本文为您介绍 DataSail 的 SQLServer 数据源配置、同步任务可视化和脚本模式（DSL）配置能力，实现与不同数据源的数据互通能力。

1 支持的 SQLServer 版本

SQL Server 离线读写使用驱动版本是 com.microsoft.sqlserver mssql-jdbc 7.2.2.jre8，驱动能力请参见官网文档。该驱动支持的SQL Server版本如下所示：

2 使用前提

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
2. 确保集成同步任务使用的独享数据集成资源组，具有 SQLServer 数据库节点的网络访问能力。网络互通方案详见网络连通解决方案。
   • 数据源为 RDS 云数据库实例时，需要将集成资源组所在 VPC 中的 IPv4 CIDR 地址添加到 SQLServer 访问白名单中：
     1. 确认集成资源组所在的 VPC：
        
     2. 查看 VPC 的 IPv4 CIDR 地址：

        注意

        若考虑安全因素，减少 IP CIDR 的访问范围，您至少需要将集成资源组绑定的子网下的 IPv4 CIDR 地址加入到数据库白名单中。

        
     3. 将获取到的 IPv4 CIDR 地址添加进 SQLServer 数据库白名单中，添加操作详见创建白名单。
        
   • 数据源为公网自建数据源，需通过公网形式访问：
     1. 集成资源组开通公网访问能力，操作详见开通公网。
     2. 并将公网 IP 地址，添加进 SQLServer 数据库白名单中。

3 支持的字段类型

SQL Server 全量的字段类型详见 SQL Server帮助文档。

• 以 SQL Server 2016 为例，列举常见的字段类型支持情况。

  sql server 2016字段类型	SQL Server Reader	SQL Server Writer
  bigint	支持	支持
  bit	支持	支持
  decimal	支持	支持
  int	支持	支持
  money	支持	支持
  numeric	支持	支持
  smallint	支持	支持
  smallmoney	支持	支持
  tinyint	支持	支持
  float	支持	支持
  real	支持	支持
  date	支持	支持
  datetime2	支持	支持
  datetime	支持	支持
  datetimeoffset	不支持	不支持
  smalldatetime	支持	支持
  time	支持	支持
  char	支持	支持
  text	支持	支持
  varchar	支持	支持
  nchar	支持	支持
  ntext	支持	支持
  nvarchar	支持	支持
  binary	支持	支持
  image	支持	支持
  varbinary	支持	支持
  cursor	不支持	不支持
  hierarchyid	不支持	不支持
  sql_variant	支持	支持
  Spatial Geometry Types	不支持	不支持
  table	不支持	不支持
  rowversion	不支持	不支持
  uniqueidentifier	支持	支持
  xml	支持	支持

• SQL Server Reader 和 SQL Server Writer 针对 SQL Server 的类型转换列表，如下所示。

  类型分类	SQL Server 数据类型
  整数类	BIGINT、INT、SMALLINT、TINYINT
  浮点类	FLOAT、DECIMAL、REAL、NUMERIC、MONEY
  字符串类	CHAR、NCHAR、NTEXT、NVARCHAR、TEXT、VARCHAR、XML、UNIQUEIDENTIFIER
  日期时间类	DATE、DATETIME和TIME
  布尔型	BIT
  二进制类	BINARY、VARBINARY、VARBINARY、TIMESTAMP、IMAGE、SQL_VARIANT

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍用连接串方式配置 SQLServer 数据源信息：

4.2 新建任务

SQLServer 数据源测试连通性成功后，进入到数据开发界面，开始新建 SQLServer 相关通道任务。
新建任务方式详见离线数据同步、流式数据同步。

4.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 SQLServer 批式读、SQLServer 批式写或 SQLServer 流式写等通道任务。

4.3.1 SQLServer 批式读

数据来源选择 SQLServer，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 SQLServer 批式写

数据目标端选择 SQLServer，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.3 SQLServer 流式写

支持可视化方式配置流式写入 SQLServer 单表。SQLServer Writer 通过 JDBC 远程连接 SQLServer 数据库，并执行相应的 SQL 语句，将数据写入 SQLServer。流式写入 SQLServer 配置方式如下：

数据目标端选择 SQLServer，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.4 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

  说明

  来源端字段信息支持输入数据库函数和常量配置，单击手动添加按钮，在源表字段中输入需添加的值，并选择函数或常量类型，例如：

  • 函数：支持您输入 getdate()、current_timestamp() 等 SQLServer 数据库支持的函数。
  • 常量：您可自定义输入常量值，'123'、'${DATE}'、'${hour}' 等，输入值两侧需要加上英文单引号，支持结合时间变量参数使用。
• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

4.4 DSL 配置说明

SQLServer 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 SQLServer Reader 和 SQLServer Writer 参数脚本代码，来运行数据集成任务。

4.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

4.4.2 SQLServer 批式读

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，SQLServer 批式读脚本示例如下：

// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "sql_server",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 12345,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ],
            "filter": "id > 10",
            "split_pk": "split_pk_sample",
            "table_schema":"table_schema",
            "table_name": "table_name_sample"
        }
    },
    // writer config
    "writer": {
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

4.4.3 SQLServer 批式写

根据实际情况替换 SQLServer 批式写相应参数，SQLServer 批式写脚本示例如下：

// **************************************
// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "xx",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
          
        }
    },
    // writer config
    "writer": {
        // [required] datasource type
        "type": "sql_server",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 12345,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "table_schema":"table_schema",
            "table_name":"table_1",
            "pre_sql_list":[""],
            "post_sql_list":[""],
            "write_mode":"directlyInsert",
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ]
        }
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

4.5 高级参数说明

• 对于可视化通道任务，读参数需要加上 job.reader. 前缀，写参数需要加上 job.writer. 前缀，如下图所示：
  
• 对于 DSL 任务，读参数请配置到 reader.parameter 下，写参数请配置到 writer.parameter 下，直接输入参数名称和参数值。如下图所示：
  

4.5.1 SQLServer 批式读

4.5.2 SQLServer 批式写