DataSail 数据集成中的 MongoDB 数据源为您提供读取和写入 MongoDB 的双向通道数据集成能力，实现不同数据源与 MongoDB 之间进行数据传输。
下文为您介绍 MongoDB 数据同步的能力支持情况。

1 支持的版本

MongoDB 使用的驱动版本是 mongo-java-driver 3.11.0，该驱动支持的内核版本为 3.4+ 版本。
驱动能力详情请参见Mongo官方文档。

2 支持的字段类型

MongoDB 读写支持的字段类型：

3 数据同步任务开发

3.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍用连接串方式配置 MongoDB 数据源信息。

其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

3.2 新建离线任务

MongoDB 数据源测试连通性成功后，进入到数据开发界面，开始新建 MongoDB 相关通道任务。
新建任务方式详见离线数据同步。

3.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 MongoDB 离线读或 MongoDB 离线写等通道任务。

3.3.1 MongoDB 离线读

数据来源选择 MongoDB，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

3.3.2 MongoDB 离线写

数据目标端选择 MongoDB，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

3.3.3 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
字段映射支持选择基础模式和转换模式配置映射：

• 转换模式：
  字段映射支持数据转换，您可根据实际业务需求进行配置，将源端采集的数据，事先通过数据转换后，以指定格式输入到目标端数据库中。
  转换模式详细操作说明详见4.1 转换模式
  在转换模式中，你可依次配置：来源节点、数据转换、目标节点信息：

  配置节点	说明
  来源节点	配置数据来源 Source 节点信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据来源字段信息。 配置完成后，单击确认按钮，完成来源节点配置。
  数据转换	单击数据转换右侧添加按钮，选择 SQL 转换方式，配置转换信息和规则： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 SQL 脚本：输入 SQL 脚本转换规则，目前仅支持添加一个转换的 SQL 语句，且不能包括 “;”。 配置完成后，单击确认按钮，完成数据转换节点配置。SQL 脚本示例详见4.1.2 添加转换节点。
  目标节点	配置目标节点 Sink 信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据目标字段信息。 配置完成后，单击确认按钮，完成目标节点配置。

• 基础模式：

  您可通过以下三种方式操作字段映射关系：

  • 同名映射：单击同名映射按钮，根据目标端/源端数据表信息，可以自动填充源端/目标端的字段信息。
  • 自动添加：单击自动添加按钮，读端可根据数据集合 Schema 信息，自动填充来源的字段信息。
  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

3.4 DSL 配置说明

Mongo 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，如：数据源和独享集成资源组网络存在跨 VPC，用云企业网 CEN 打通网络，但无法配置 Mongo 数据源时、或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 Mongo Reader 参数脚本代码，来运行数据集成任务。

3.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见6 脚本模式配置。

3.4.2 Mongo 批式读

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，Mongo 批式读脚本示例如下：

{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "mongo",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            // 集合名称
            "collection_name":"test_xxx",
            //过滤条件，注意要使用 mongo 语法
            "filter":"{stringField:{$eq:\"hello\"}}",
            //主键名
            "split_pk":"_id",
            "self_built":true,
            "columns":[
                {
                    "upperCaseName":"_ID",
                    "name":"_id",
                    "type":"objectid"
                },
                {
                    "upperCaseName":"STRING_FIELD",
                    "name":"string_field",
                    "type":"string"
                },
                {
                    "upperCaseName":"INT_FIELD",
                    "name":"int_field",
                    "type":"int"
                }
            ],
            //用户名
            "user_name":"****",
            //密码
            "password":"*****",
            // 主机名或IP地址:
            "hosts_str":"xxx.mongodb.volces.com:3717,xxx.mongodb.volces.com:3717",
            //鉴权数据库
            "auth_db_name":"db_xxx",
            // 数据库名
            "db_name":"db_1_xxx",
            "port":3717,
            "class":"com.bytedance.dts.batch.mongodb.MongoDBInputFormat"
        }
    },
    // writer config
    "writer": {
        // [required] datasource type
        "type": "bytehouse_cdw",
        // 此处有数据源ID，下面连接信息不用填
        "datasource_id": xxxx,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "ch_db":"db_xxx",
            "ch_table":"tab_xxx",
            "ch_partition_type":"String",
            "partition":"id=20240417",
            "shard_num":1,
            "shard_column":"_id",
            "codec":"none",
            "columns":[
                {
                    "upperCaseName":"_ID",
                    "name":"_id",
                    "type":"String"
                },
                {
                    "upperCaseName":"ADDRESS",
                    "name":"address",
                    "type":"String"
                },
                {
                    "upperCaseName":"DISCOUNT",
                    "name":"discount",
                    "type":"UInt8"
                }
            ],
            "class":"com.bytedance.dts.batch.bytehouse.BytehouseCdwOutputFormat"
        }
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

批式写参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

4 高级参数说明

对于可视化通道任务，读参数需要加上 job.reader. 前缀，写参数需要加上 job.writer. 前缀，如下图所示：

4.1 MongoDB 离线读

离线读支持高级参数示例如下，您可根据实际情况进行配置，更多读取的高级参数可详见 4.5.1 MySQL 批式读。

4.1 MongoDB 离线写

离线写支持以下高级参数，您可根据实际情况进行配置：