You need to enable JavaScript to run this app.
导航

数据结构

最近更新时间2023.10.17 11:57:19

首次发布时间2023.03.29 20:43:53

本文汇总数据库传输服务 DTS 的 API 接口中使用的数据结构定义详情。

AccountMapping

账号信息。在 TaskType 取值为 DataMigrationProgressType 取值为 Account 时,可设置的参数信息。被以下接口引用:

  • MySQL2MySQLSettings
参数类型是否必选描述示例值
AccountString待迁移的账号名称。test****

ResetPassword

Bool

是否重置密码,取值如下:

  • true:表示重置新密码。
  • false:表示不充值新密码。默认值。

true

PasswordString待迁移账号的新密码。*Test****

AccountProgressItem

任务中用户迁移进度。被以下接口引用:

  • TaskProgress
参数类型描述示例值
AccountString账号名称。test****
StartTimeInteger用户迁移的开始时间,毫秒时间戳。0
FinishTimeInteger用户迁移的结束时间,毫秒时间戳。1679300319338820

Statement

String

需要传输的 SQL 语句。取值如下:

  • StmtDMLInsert
  • StmtDMLUpdate
  • StmtDMLDelete
  • StmtDDLAll
  • StmtDDLAlterTable
  • StmtDDLAlterView
  • StmtDDLCreateFunction
  • StmtDDLCreateIndex
  • StmtDDLCreateProcedure
  • StmtDDLCreateTable
  • StmtDDLCreateView
  • StmtDDLDropIndex
  • StmtDDLDropTable
  • StmtDDLDropFunction
  • StmtDDLDropProcedure
  • StmtDDLTruncateTable
  • StmtDDLRenameTable
  • StmtDDLDropView

StmtDDLAll

state

String

单个任务传输状态。取值如下:

  • None:表示任务待启动。
  • Transmitting:表示任务传输中。
  • Completed:表示任务已完成。
  • Removed:表示任务传输失败。

None

type

String

用户迁移的类型,取值如下:

  • Account:表示迁移账号。
  • Privileges:表示迁移账号权限。

Account

AccountTransmissionSettings

将源库中指定的非系统账号及账号所拥有的权限迁移到目标库的详细信息。被以下接口引用:

  • MySQL2MySQLSettings
参数类型是否必选描述示例值

EnableAccount

Bool

是否开启用户迁移。取值如下:

  • true:表示开启。
  • false:表示不开启。

false

BuiltinKafkaSettings

EndpointType 取值为 Builtin_Kafka 时,目标库的信息。被以下接口引用:

  • DataSource
参数类型是否必选描述示例值

Brokers

Array of String

Broker 的 IP 地址及端口号,格式为 host:port

[
     "100.67.158.158:9092",
     "100.67.158.158:9192",
     "100.67.158.158:9292",
     "100.67.158.158:9392",
     "100.67.158.158:9492"
]

TopicStringKafka 的 Topic ID。6f2fd63c0ea947b280877f5d2a******

ChargeConfig

计费的配置信息。被以下接口和结构体引用:

  • CreateTransmissionTask

  • TaskInfo

参数类型是否必选描述示例值

ChargeType

String

计费类型,取值如下:

  • NotEnabled:表示未开启计费。
  • PostPaid:表示按量付费。
  • PrePaid:表示包年包月。

PrePaid

Times

Integer

购买时长。

说明

ChargeType 取值为 PrePaid 时,支持此配置。

12

AutoRenew

Bool

是否自动续费,取值如下:

  • true:表示自动续费。
  • false:表示不自动续费,默认值。

true

OneStep

Bool

是否立即付费,取值如下:

  • true:表示立即付费。
  • false:表示不立即付费,默认值。

false

ChargeDetailObject

计费的详细信息。被以下结构体引用:

  • TaskInfo
参数类型描述示例值
ChargeStartTimeInteger任务开始计费的时间,毫秒时间戳。1668569330000

ChargeStatus

String

任务订单状态。取值如下:

  • Init:任务订单待启动。
  • Normal:任务订单状态正常。
  • Overdue:任务订单已过期。
  • Unpaid:任务订单未支付。

Normal

ChargeType

String

计费类型,取值如下:

  • NotEnabled:表示未开启计费。
  • PostPaid:表示按量付费。
  • PrePaid:表示包年包月。

Postpaid

OrderNoInteger计费订单 ID。Order7166450525830******

ConvertPostPaidToPrePaid

名称类型是否必选描述示例值
TimesInteger包年包月的购买时长,支持 123456789122436 取值,单位:月。3

AutoRenew

Bool

包年包月到期后是否自动续费,取值如下:

  • true:表示自动续费。

  • false:表示不自动续费,默认值。

true

DataSource

源库或目标库的详细信息。被以下接口和结构体引用:

  • CreateTransmissionTask

  • ModifyTransmissionTask

  • TaskInfo

参数类型是否必选描述示例值

EndpointType

String

实例的接入方式,取值如下:

  • Volc_MySQL:表示火山引擎版 MySQL。

  • Volc_veDB_MySQL:表示火山引擎版 veDB MySQL。

  • Volc_PostgreSQL:表示火山引擎版 PostgreSQL。

  • Volc_Mongo:表示火山引擎版 MongoDB。

  • Volc_ElasticSearch:表示火山引擎版 ElasticSearch。

  • Volc_Kafka:表示消息队列 Kafka 版。

  • Volc_RocketMQ:表示消息队列 RocketMQ 版。

  • Volc_Redis:表示火山引擎版 Redis。

  • ECS_MySQL:表示火山引擎 ECS 自建 MySQL。

  • ECS_PostgreSQL:表示火山引擎 ECS 自建 PostgreSQL。

  • ECS_Mongo:表示火山引擎 ECS 自建 MongoDB。

  • ECS_ElasticSearch:表示火山引擎 ECS 自建 ElasticSearch。

  • ECS_Kafka:表示火山引擎 ECS 自建 Kafka 版。

  • ECS_Redis:表示火山引擎 ECS 自建 redis。

  • Public_MySQL:表示公网自建 MySQL。

  • Public_PostgreSQL:表示公网自建 PostgreSQL。

  • Public_Mongo:表示公网自建 MongoDB。

  • Public_ElasticSearch:表示公网自建 ElasticSearch。

  • Public_Redis:表示公网自建 Redis。

  • Builtin_Kafka:表示内置中间件。

  • Express_MySQL:表示火山引擎专有网络 MySQL。

  • Express_PostgreSQL:表示火山引擎专有网络 PostgreSQL。

  • Express_Mongo:表示火山引擎专有网络 MongoDB。

  • Express_Redis:表示火山引擎专有网络 Redis。

Volc_MySQL

DataSourceId

String

-

源端实例 ID。在创建任务时,无需设置此参数。

362

VolcMySQLSettingsVolcMySQLSettings表示接入方式为火山引擎版 MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_MySQL 时,该参数必选。-
VolcveDBMySQLSettingsVolcveDBMySQLSettings表示接入方式为火山引擎版 veDB MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。-
VolcPostgreSQLSettingsVolcPostgreSQLSettings表示接入方式为火山引擎版 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Volc_PostgreSQL 时,该参数必选。-
VolcMongoSettingsVolcMongoSettings表示接入方式为火山引擎版 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Volc_Mongo 时,该参数必选。-
VolcElasticSearchSettingsVolcElasticSearchSettings表示接入方式为火山引擎版 ElasticSearch 的目标库的信息。在 EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。-
VolcKafkaSettingsVolcKafkaSettings表示接入方式为火山引擎版 Kafka 的目标库的信息。在 EndpointType 取值为 Volc_Kafka 时,该参数必选。-
VolcRocketMQSettingsVolcRocketMQSettings表示接入方式为火山引擎版 RocketMQ 的目标库的信息。在 EndpointType 取值为 Volc_RocketMQ 时,该参数必选。-
VolcRedisSettingsVolcRedisSettings表示接入方式为火山引擎版 Redis 的目标库的信息。在 EndpointType 取值为 Volc_Redis 时,该参数必选。-
ECSMySQLSettingsECSMySQLSettings表示接入方式为火山引擎 ECS 自建 MySQL 的源库或目标库的信息。在 EndpointType 取值为 ECS_MySQL 时,该参数必选。-
ECSPostgreSQLSettingsECSPostgreSQLSettings表示接入方式为火山引擎 ECS 自建 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 ECS_PostgreSQL 时,该参数必选。-
ECSMongoSettingsECSMongoSettings表示接入方式为火山引擎 ECS 自建 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 ECS_Mongo 时,该参数必选。-
ECSElasticSearchSettingsECSElasticSearchSettings表示接入方式为火山引擎 ECS 自建 ElaticSearch 的源库或目标库的信息。在 EndpointType 取值为 ECS_ElasticSearch 时,该参数必选。-
ECSKafkaSettingsECSKafkaSettings表示接入方式为火山引擎 ECS 自建 Kafka 的源库或目标库的信息。在 EndpointType 取值为 ECS_Kafka 时,该参数必选。-
ECSRedisSettingsECSRedisSettings表示接入方式为火山引擎 ECS 自建 Redis 的源库或目标库的信息。在 EndpointType 取值为 ECS_Redis 时,该参数必选。-
PublicMySQLSettingsPublicMySQLSettings表示接入方式为公网自建 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Public_MySQL 时,该参数必选。-
PublicPostgreSQLSettingsPublicPostgreSQLSettings表示接入方式为公网自建 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Public_PostgreSQL 时,该参数必选。-
PublicMongoSettingsPublicMongoSettings表示接入方式为公网自建 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Public_Mongo 时,该参数必选。-
PublicElasticSearchSettingsPublicElasticSearchSettings表示接入方式为公网自建 ElasticSearch 的源库或目标库的信息。在 EndpointType 取值为 Public_ElasticSearch 时,该参数必选。-

PublicRedisSettings

PublicRedisSettings

表示接入方式为公网自建 Redis 的源库或目标库的信息。在 EndpointType 取值为 Public_Redis 时,该参数必选。

-

BuiltinKafkaSettingsBuiltinKafkaSettings表示在数据订阅任务中,将数据订阅到内置中间件的参数信息。在 EndpointType 取值为 Builtin_Kafka 时,该参数必选。-
Express_MongoExpressMongoSettings表示接入方式为火山引擎专有网络 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Express_Mongo 时,该参数必选。-
Express_MySQLExpressMySQLSettings表示接入方式为火山引擎专有网络 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Express_MySQL 时,该参数必选。-

Express_PostgreSQL

ExpressPostgreSQLSettings

表示接入方式为火山引擎专有网络 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Express_PostgreSQL 时,该参数必选。

-

Express_RedisExpressRedisSettings表示接入方式为火山引擎专有网络 Redis 的源库或目标库的信息,在 EndpointType 取值为 Express_Redis 时,该参数必选。-

ECSElasticSearchSettings

EndpointType 取值为 ECS_ElasticSearch,即火山引擎 ECS 自建 ElasticSearch 时,目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选示例值描述
EndpointsArray of String自建实例的主机地址,格式为 Host:port192.168.***.***:4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
ECSSettingsECSSettings私有网络的信息。-
RegionSettingsRegionSetting实例所属地域。-

ECSKafkaSettings

当创建数据订阅任务,需要将数据订阅到火山引擎 ECS 自建 Kafka ,即 EndpointType 取值为 ECS_Kafka,目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
BrokerEndpointsStringBroker 的 IP 地址及端口号,格式为 host:port192.168.***.***:4
AuthTypeString认证方式,默认取值 plainplain
UsernameString数据库账号。test****
PasswordString数据库密码。test****
TopicStringKafka 的 Topic 名称。test****
ECSSettingsECSSettings私有网络信息。-
RegionSettingsRegionSetting实例所属地域。-

ECSMongoSettings

EndpointType 取值为 ECS_Mongo,即火山引擎 ECS 自建 MongoDB 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
EndpointsArray of String自建实例的主机地址,格式为 Host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。192.168.***.***:4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
MongoAuthSourceDBString账号校验数据库。ReplicaSet

DeployType

String

实例的实例类型。取值如下:

  • Standalone:表示单节点。
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。

ShardedCluster

ECSSettingsECSSettings私有网络的信息。-
RegionSettingsRegionSetting实例所属地域。-

ECSMySQLSettings

EndpointType 取值为 ECS_MySQL,即火山引擎 ECS 自建 MySQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString自建实例的主机地址。192.168.***.***
PortInteger自建实例的端口号。4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
ECSSettingsECSSettings私有网络的信息。-
RegionSettingsRegionSetting实例所属地域。-
SSLSettingsSSLSettings实例加密信息。-

ECSPostgreSQLSettings

EndpointType 取值为 ECS_PostgreSQL,即火山引擎 ECS 自建 PostgreSQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString自建实例的主机地址。192.168.***.***
PortInteger自建实例的端口号。4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
DBNameString数据库名称。test****
ECSSettingsECSSettings私有网络的信息。-
RegionSettingsRegionSetting实例所属地域。-

ECSRedisSettings

EndpointType 取值为 ECS_Redis,即火山引擎 ECS 自建 Redis 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString自建实例的主机地址。192.168.***.***
PortInteger自建实例的端口号。4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
ECSSettingsECSSettings私有网络信息。-
RegionSettingsRegionSetting实例所属地域。-

ECSSettings

私有网络信息。被以下结构体引用:

  • ECSMySQLSettings

  • ECSPostgreSQLSettings

  • ECSMongoSettings

  • ECSElasticSearchSettings

  • ECSKafkaSettings

  • ECSRedisSettings

参数类型是否必选描述示例值
VPCIDString实例所属私有网络 ID。vpc-bp1opxu1zkhn00gz****

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。被以下结构体引用:

  • MySQL2MySQLSettings

  • MySQL2ESSettings

  • MySQL2KafkaSettings

  • MySQL2RocketMQSettings

  • PG2PGSettings

  • PG2KafkaSettings

  • PG2RocketMQSettings

  • Mongo2MongoSettings

  • Redis2RedisSettings

参数类型是否必选描述示例值
MaxRetrySecondsInteger最大错误重试时间。取值范围:600~86400,单位:秒(s)。默认值为 7200 秒。7200

ESExtraArgs

在同步至 ElasticSearch 时的参数信息。被以下结构体引用:

  • MySQL2ESSettings
参数类型是否必选描述示例值

IdxNameRule

String

索引拼接规则。

  • Table:表示使用表名拼接方式。
  • DBAndTable:表示使用库名+表名的拼接方式。

Table

ShardNumInteger分片数。3
ReplicaNumInteger副本数。1
TZString时区。支持 UTC -12:00 ~ +13:00。默认值为 Region 所在的 TimeZone。UTC +08:00
RetryTimesInteger错误重试时间。7200

Analyzer

String

支持的分词器。

standard

InsertMode

String

源端的插入操作,取值如下:

  • Replace:表示在目标端不存在对应索引时,则插入一条新数据,在目标端存在对应索引时,则更新对应的索引。

  • Update:表示在目标端不存在对应索引时,则跳过。在目标端存在对应索引时,则更新对应数据。

Replace

ESMetaMappingSetting

ElasticSearch 的结构映射参数。被以下结构体引用:

  • ObjectMappingSetting
参数类型是否必选描述示例值
PidColArray of String主键(_id)取值。当不设置此参数时,默认为主键的列。["id", "name"]

EnableRouting

Bool

是否启用 Routing,取值如下:

  • true:表示启用 Routing。
  • false:表示不启用 Routing。

EnableRouting

RoutingColArray of String_routing 的取值。当 EnableRouting 取值为 true 时,该参数必选。["id"]

ETLSettings

ETL 参数的详细信息。被以下结构体引用:

  • MySQL2MySQLSettings

  • MySQL2ESSettings

  • MySQL2KafkaSettings

  • MySQL2RocketMQSettings

  • PG2PGSettings

  • PG2KafkaSettings

  • PG2RocketMQSettings

  • Mongo2MongoSettings

参数类型是否必选描述示例值

Script

String

流式数据 ETL 的脚本。关于脚本依赖的语法信息,请参见 DSL 语法

(defn        desensitization        []
                (dts/match-table        "user"        (dts/map-column        'id_card        str/md5)))

ExpressMongoSettings

EndpointType 取值为 Express_Mongo(即火山引擎专有网络 MongoDB)时,源库或目标库的信息。被以下接口或结构体引用:

  • DataSource
参数类型是否必选描述示例值
EndpointsArray of String火山引擎专有网络 MongoDB 实例的主机地址,格式为 Host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。192.168.***.***:4
UsernameString火山引擎专有网络 MongoDB 实例的数据库账号。test***
PasswordString火山引擎专有网络 MongoDB 实例的数据库账号密码。Admin@***
MongoAuthSourceDBString账号校验数据库。ReplicaSet

DeployType

String

实例的实例类型。取值如下:

  • Standalone:表示单节点。

  • ReplicaSet:表示副本集。

  • ShardedCluster:表示分片集群。

ShardedCluster

PrivateNetworkSettingsPrivateNetworkSetting私有网络的配置信息。-
RegionSettingsRegionSetting地域 ID。cn-beijing

ExpressMySQLSettings

EndpointType 取值为 Express_MySQL(即火山引擎专有网络 MySQL )时,源库或目标库的信息。被以下接口或结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString火山引擎专有网络 MySQL 实例的主机地址。192.168.***.***
PortInteger火山引擎专有网络 MySQL 实例的端口。4
UsernameString火山引擎专有网络 MySQL 实例的数据库账号。test***
PasswordString火山引擎专有网络 MySQL 实例的数据库账号密码。Admin@***
PrivateNetworkSettingsPrivateNetworkSetting私有网络的配置信息。-
RegionSettingsRegionSetting地域 ID。cn-beijing

ExpressPostgreSQLSettings

EndpointType 取值为 Express_PostgreSQL(即火山引擎专有网络 PostgreSQL)时,源库或目标库的信息。被以下接口或结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString火山引擎专有网络 PostgreSQL 实例的主机地址。192.168.***.***
PortInteger火山引擎专有网络 PostgreSQL 实例的端口。4
UsernameString火山引擎专有网络 PostgreSQL 实例的数据库账号。test***
PasswordString火山引擎专有网络 PostgreSQL 实例的数据库账号密码。Admin@***
DBNameString数据库名称。test****
PrivateNetworkSettingsPrivateNetworkSetting私有网络的配置信息。-
RegionSettingsRegionSetting地域 ID。cn-beijing

ExpressRedisSettings

EndpointType 取值为 Express_Redis(即火山引擎专有网络 Redis)时,源库或目标库的信息。被以下接口或结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString火山引擎专有网络 Redis 实例实例的主机地址。192.168.***.***
PortInteger火山引擎专有网络 Redis 实例的端口。4
UsernameString火山引擎专有网络 Redis 实例的数据库账号。test***
PasswordString火山引擎专有网络 Redis 实例的数据库账号密码。Admin@***
PrivateNetworkSettingsPrivateNetworkSetting私有网络的配置信息。-
RegionSettingsRegionSetting地域 ID。cn-beijing

FullExtraCondition

全量过滤信息。被以下结构体引用:

  • FullTransmissionSettings
参数类型是否必选描述示例值
DbString需要过滤的数据库名称。TestName
TableString需要过滤的表格名称。TableName
WhereSqlString过滤的 SQL 语句。id = 5

FullProgressItem

任务中全量迁移、全量订阅或全量初始化进度。被以下结构体引用:

  • TaskProgress
参数类型描述示例值

Database

ObjectMappings

数据库信息。

{
    "DestObjName": "test****1",
     "ObjectType": "Database",
    "SrcObjName": "test****1"
}

Object

ObjectMappings

源端和目标端的库表映射对象。

{
    "DestObjName": "auth_operation",
    "ObjectType": "Table",
    "SrcObjName": "auth_operation"
}

StartTimeInteger开始进行全量迁移、订阅或初始化的时间,毫秒时间戳。1679300366000
FinishTimeInteger全量迁移、订阅或初始化的结束时间,毫秒时间戳。1679300366000
TransferRowsInteger传输行数。0
TransferBytesInteger传输字节数。0

TransferEstimateRows

Integer

预估行数。

0

State

String

任务传输状态。取值如下:

  • None:表示任务待启动。

  • Transmitting:表示任务传输中。

  • Completed:表示任务已完成。

  • Removed:表示任务传输失败。

Completed

ShardIDString分片 ID。0
RowAvgBytesInteger行平均大小。0
TransferEstimateBytesInteger预估总的传输数据量。0

FullTransmissionSettings

全量读取源表内容并写到对应的目标库的详细信息。被以下结构体引用:

  • MySQL2MySQLSettings
参数类型是否必选描述示例值

EnableFull

Bool

是否开启全量迁移、全量订阅或全量初始化。取值如下:

  • true:表示开启。

  • false:表示不开启,默认值。

true

Snapshot

Bool

是否开启全量一致性迁移。取值如下:

  • true:表示开启。

  • false:表示不开启,默认值。

true

ExtraConditionsArray of FullExtraCondition全量过滤条件。FullExtraCondition
RPSLimitInteger每秒迁移或同步的行数,取值范围为 1~100000,默认值为 100000。100000
BPSLimitInteger每秒迁移或同步的数据量,取值范围 1~25000,单位 KB,默认值为 25000。25000

IncrProgressItem

任务中增量迁移、增量订阅或增量初始化。被以下结构体引用:

  • TaskProgress
参数类型描述示例值

Database

ObjectMappings

数据库信息。

{
      "DestObjName": "test****",
     "ObjectType": "Database",
     "SrcObjName": "test****"
}

Object

ObjectMappings

源端和目标端的库表映射对象。

{
     "DestObjName": "test****",
     "ObjectType": "Database",
     "SrcObjName": "test****"
}

TransferRowsInteger传输行数。0
TransferBytesInteger传输字节数。0
ShardIDString分片 ID。0

State

String

任务传输状态。取值如下:

  • None:表示任务待启动。
  • Transmitting:表示任务传输中。
  • Completed:表示任务已完成。
  • Removed:表示任务传输失败。

Completed

LatencySecondsInteger延迟时间,单位:秒(s)。0

IncrTransmissionSettings

目标库增量日志解析和回放的详细信息。被以下结构体引用:

  • MySQL2MySQLSettings
参数类型是否必选描述示例值

EnableIncr

Bool

是否开启增量迁移、增量订阅或增量同步。取值如下:

  • true:表示开启。
  • false:表示不开启,默认值。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

true

Statements

String

需要传输的操作语句。取值如下:

  • StmtDMLInsert

  • StmtDMLUpdate

  • StmtDMLDelete

  • StmtDDLAll

  • StmtDDLAlterTable

  • StmtDDLAlterView

  • StmtDDLCreateFunction

  • StmtDDLCreateIndex

  • StmtDDLCreateProcedure

  • StmtDDLCreateTable

  • StmtDDLCreateView

  • StmtDDLDropIndex

  • StmtDDLDropTable

  • StmtDDLDropFunction

  • StmtDDLDropProcedure

  • StmtDDLTruncateTable

  • StmtDDLRenameTable

  • StmtDDLDropView

[
     "StmtDDLAll",
     "StmtDMLDelete",
      "StmtDMLUpdate",
     "StmtDMLInsert"
]

Info

传输任务总进度信息。被以下结构体引用:

  • ProgressSummary
参数类型描述示例值

ErrorInfo

String

任务报错信息。

mysql endpoint error: dial tcp 172.17.46.117:3306: i/o timeout

NameCNString任务进度的类型。增量订阅

ProgressType

String

任务类型。取值如下:

  • Account:表示用户迁移。

  • Meta:表示结构迁移、库表结构订阅或结构初始化。

  • Full:表示全量迁移、全量订阅或全量初始化。

  • Incr:表示增量迁移、增量订阅或增量同步。

  • PostMeta:表示后置结构迁移。

Incr

Status

String

任务状态。取值如下:

  • Doing:表示校验任务正在进行中。

  • Todo:表示校验任务待进行。

  • Done:表示校验任务已完成。

Doing

MappingList

传输任务对象。被以下结构体引用:

  • ObjectMappings
参数类型是否必选描述示例值
DestObjNameString目标端对象名称。test****

ObjectType

String

对象类型。取值如下:

  • Database:表示数据库。

  • Table:表示表格。

  • View:表示视图。

  • Column:表示列。

  • Function:表示函数。

  • Procedure:表示程序。

  • Trigger:表示触发器。

  • Type:表示类型。

  • Domain:表示域名。

  • Sequence:表示序列。

  • Rule:表示规则。

  • Operator:表示操作符。

  • Aggregate:表示聚合。

  • Extension:表示扩展。

  • Constraint:表示约束。

  • PostSequence:表示 PostgreSQL 的序列。

  • Schema:表示模式。

  • Event:表示事件。

  • DomainConstraint:表示域约束。

Table

SrcObjNameString源端对象名称。zaizai

MetaProgressItem

任务中结构迁移、库表结构订阅或结构初始化进度。被以下结构体引用:

  • TaskProgress
参数类型描述示例值

Database

ObjectMappings

数据库信息。

{
      "DestObjName": "test****",
      "ObjectType": "Database",
      "SrcObjName": "test****"
}

Object

ObjectMappings

源端和目标端的库表映射对象。

{
      "DestObjName": "test****",
      "ObjectType": "Database",
      "SrcObjName": "test****"
}

StartTime

Integer

开始进行库表结构迁移、订阅或初始化的时间,毫秒时间戳。

0

FinishTimeInteger库表结构迁移、订阅或初始化的结束时间,毫秒时间戳。1679300319338837
DdlString创建库表结构的操作语句。\nCREATE DATABASE test**** /*!40100 DEFAULT CHARACTER SET utf8 */

State

String

任务传输状态。取值如下:

  • None:表示任务待启动。

  • Transmitting:表示任务传输中。

  • Completed:表示任务已完成。

  • Removed:表示任务传输失败。

Completed

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式的详细信息。被以下结构体引用:

  • MySQL2MySQLSettings
参数类型是否必选描述示例值

EnableMeta

Bool

是否开启库表结构迁移或订阅。取值如下:

  • true:表示开启。

  • false:表示不开启。

true

ModifyInstanceSpecReq

任务链路规格信息。被以下接口引用:

名称类型是否必选描述示例值
TrafficSpecString任务链路规格。支持 CompactStandard 取值。关于链路规格的详细信息,请参见产品规格Compact

MySQL2ESSettings

SolutionType 取值为 1 时,即实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 目标实例的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

ObjectMappings

Array of ObjectMapping

源端和目标端对象的映射信息。详细信息,请参见ObjectMappings

-

ETLSettingsETLSettings流式数据 ETL 参数配置。-
ErrorBehaviorSettingsErrorBehaviorSettings错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。7200
ESExtraArgsESExtraArgs在同步至 ElasticSearch 时的参数信息。-

PolicyForPrimaryKeyConflict

String

主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:

  • ThrowError:表示冲突报错,表示预检查时提示相关报错,需手动修改相关数据,否则同步任务无法启动。

  • Ignore:表示冲突忽略,表示预检查时会跳过对目标数据库中存在同主键值的行,同步任务可正常启动。

  • Override:表示冲突覆盖,表示使用源库数据覆盖目标库数据,同步任务可正常启动。

注意

在取值为 Ignore 时,可能会导致数据不一致,给业务带来风险,请谨慎选择。

ThrowError

Mongo2MongoSettings

SolutionType 取值为 Mongo2Mongo 时,即实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 目标实例的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见 ObjectMappings-

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

ETLSettingsETLSettingsETL 参数配置。-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。

-

MySQL2MySQLSettings

SolutionType 取值为 MySQL2MySQL 时,即实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例的参数配置。被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见ObjectMappings-

AccountTransmissionSettings

AccountTransmissionSettings

将源库中指定的非系统账号及账号所拥有的权限迁移到目标库。

说明

TaskType 取值为 DataMigration 时支持配置此参数,表示用户迁移。

-

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

EnableForeignKeyChecksBool是否开启外键检查,开启外键检查后,支持同步源库的外键级联更新、删除等操作,保证数据同步的完整性和一致性。取值如下:true
ETLSettingsETLSettingsETL 参数配置。-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。

7200

MySQLPosition

MySQLPosition

设置从某指定位点或时间点拉取 Binlog 日志。

说明

  • TaskType 取值为 DataSynchronization ,进行全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。

-

PolicyForPrimaryKeyConflict

String

主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:

  • ThrowError:表示冲突报错,表示预检查时提示相关报错,需手动修改相关数据,否则同步任务无法启动。
  • Ignore:表示冲突忽略,表示预检查时会跳过对目标数据库中存在同主键值的行,同步任务可正常启动。
  • Override:表示冲突覆盖,表示使用源库数据覆盖目标库数据,同步任务可正常启动。

注意

在取值为 Ignore 时,可能会导致数据不一致,给业务带来风险,请谨慎选择。

Override

AccountMapping

Array of AccountMapping

待迁移的数据库账号信息。详细信息,请参见 AccountMapping

说明

TaskType 取值为 DataMigration 时支持配置此参数。

-

MySQL2KafkaSettings

SolutionType 取值为 MySQL2Kafka 时,即实例类型为 MySQL 的源实例订阅到 Kafka 的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
SubscriptionSettingsSubscriptionSettings订阅任务对象的配置信息。-

ObjectMappings

Array of ObjectMapping

源端和目标端对象的映射信息。详细信息,请参见ObjectMappings

-

ETLSettingsETLSettingsETL 参数配置。-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。

-

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

MySQLPosition

MySQLPosition

设置从某指定位点或时间点拉取 Binlog 日志。

说明

  • 全量初始化时,不支持此参数配置。

  • 当不设置此参数时,默认为系统能识别的最早时间点。

-

MySQL2RocketMQSettings

SolutionType 取值为 MySQL2RocketMQ 时,即实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
SubscriptionSettingsSubscriptionSettings订阅任务对象的配置信息。-
ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见ObjectMappings-
ETLSettingsETLSettings流式数据 ETL 的参数配置。-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。

-

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

MySQLPosition

MySQLPosition

设置从某指定位点或时间点拉取 Binlog 日志。

说明

  • 全量初始化时,不支持此参数配置。

  • 当不设置此参数时,默认为系统能识别的最早时间点。

-

MySQLPosition

表示从某指定位点或时间点拉取 Binlog 日志。以下参数只需设置一个即可,当不设置时,默认为系统能识别的当前时间点拉取 Binlog 日志。被以下结构体引用:

  • MySQL2MySQLSettings

  • MySQL2ESSettings

  • MySQL2KafkaSettings

  • MySQL2RocketMQSettings

  • PG2PGSettings

  • PG2KafkaSettings

  • PG2RocketMQSettings

  • Mongo2MongoSettings

  • Redis2RedisSettings

参数类型是否必选描述示例值

Gtid

String

表示从指定的 GTID 开始拉取 Binlog 日志,格式为 source_id:transaction_id

3e11fa47-71ca-11e1-9e33-c80aa9429562:58

Gset

String

表示从指定的 GTID_EXECUTED 开始拉取 Binlog 日志,格式为 source_id:transaction_id,当存在多个时,可使用英文逗号(,)隔开。

说明

关于如何获取实例的 GTID_EXECUTED,请参见如何获取实例的 GTID_EXECUTED

f76eb90f-82a2-11e5-a162-7ca23e9126c5:3

TimestampInteger表示从指定的时间戳开始拉取 Binlog 日志。1679642652

ObjectMappings

源端和目标端对象的映射信息。被以下结构体引用:

  • MySQL2MySQLSettings

  • MySQL2ESSettings

  • MySQL2KafkaSettings

  • MySQL2RocketMQSettings

  • PG2PGSettings

  • PG2KafkaSettings

  • PG2RocketMQSettings

  • Mongo2MongoSettings

  • Redis2RedisSettings

参数类型是否必选描述示例值

ObjectType

String

对象类型。取值如下:

  • Database:表示数据库。

  • Table:表示表格。

  • View:表示视图。

  • Column:表示列。

  • Function:表示函数。

  • Procedure:表示程序。

  • Trigger:表示触发器。

  • Type:表示类型。

  • Domain:表示域名。

  • Sequence:表示序列。

  • Rule:表示规则。

  • Operator:表示操作符。

  • Aggregate:表示聚合。

  • Extension:表示扩展。

  • Constraint:表示约束。

  • PostSequence:表示 PostgreSQL 的序列。

  • Schema:表示模式。

  • Event:表示事件。

  • DomainConstraint:表示域约束。

Function

SrcObjNameString源端对象名称。zaizai
DestObjNameString目标端对象名称。test****
MappingListArray of objectMapping传输任务对象。详细信息,请参见 objectMappings-

ObjectMappingSetting

ObjectMappingSetting

在数据同步至 ElasticSearch 时,需配置的其他参数信息。

-

ObjectMappingSetting

在数据同步至 ElasticSearch 时,需配置的其他参数信息。被以下结构体引用:

  • ObjectMappings
参数类型是否必选描述示例值
ESMetaMappingSettingESMetaMappingSettingElasticSearch 的结构映射参数。-

PG2KafkaSettings

SolutionType 取值为 PG2Kafka 时,即实例类型为 PostgreSQL 的源实例订阅到 Kafka 的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
SubscriptionSettingsSubscriptionSettings订阅任务对象的配置信息。-
ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见ObjectMappings-
ETLSettingsETLSettingsETL 参数配置。-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。

-

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

MySQLPosition

Array of MySQLPosition

设置从某指定位点或时间点拉取 Binlog 日志。详细信息,请参见 MySQLPosition

说明

  • 全量初始化时,不支持此参数配置。

  • 当不设置此参数时,默认为系统能识别的最早时间点。

-

PG2PGSettings

SolutionType 取值为 PG2PG 时,即实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 目标实例的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

MetaTransmissionSettings

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

FullTransmissionSettings

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

IncrTransmissionSettings

ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见ObjectMappings
ETLSettingsETLSettingsETL 参数配置。

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。

-

PG2RocketMQSettings

SolutionType 取值为 PG2RocketMQ 时,即实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
SubscriptionSettingsSubscriptionSettings订阅任务对象的配置信息。-
ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见ObjectMappings-
ETLSettingsETLSettingsETL 参数配置。-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。

-

MetaTransmissionSettings

MetaTransmissionSettings

读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示结构迁移。

  • 数据订阅:表示库表结构订阅。

  • 数据同步:表示结构初始化。

-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

MySQLPosition

Array of MySQLPosition

设置从某指定位点或时间点拉取 Binlog 日志。详细信息,请参见 MySQLPosition

说明

  • 全量初始化时,不支持此参数配置。

  • 当不设置此参数时,默认为系统能识别的最早时间点。

-

PostMetaProgressItem

任务中后置结构迁移进度。被以下结构体引用:

  • TaskProgress
参数类型描述示例值

Database

ObjectMappings

数据库信息。

{
     "DestObjName": "test****",
     "ObjectType": "Database",
     "SrcObjName": "test****"
}

Object

ObjectMappings

源端和目标端的库表映射对象。

{
     "DestObjName": "test****",
     "ObjectType": "Database",
     "SrcObjName": "test****"
}

StartTime

Integer

开始进行后置结构迁移的时间,毫秒时间戳。

0

FinishTimeInteger后置结构迁移的结束时间,毫秒时间戳。1679300319338837
DdlString创建后置结构迁移的操作语句。\nCREATE DATABASE test**** /*!40100 DEFAULT CHARACTER SET utf8 */

State

String

任务传输状态。取值如下:

  • None:表示任务待启动。

  • Transmitting:表示任务传输中。

  • Completed:表示任务已完成。

  • Removed:表示任务传输失败。

Completed

ProgressSummary

传输任务总进度。被以下结构体引用:

  • TaskInfo
参数类型描述示例值
InfosArray of Info传输任务总进度信息。详细信息,请参见 Info-

PrivateNetworkSetting

私有网络的配置信息。被以下接口或结构体引用:

  • ExpressMySQLSettings

  • ExpressPostgreSQLSettings

  • ExpressMongoSettings

  • ExpressRedisSettings

参数类型是否必选描述示例值

VpcId

String

私有网络 ID。根据火山引擎专有网络的连接方式,私有网络 ID 取值如下所示:

  • 专线连接:通过专线 CEN 实现数据连通时,设置 CEN 所属的任意私有网络的 ID。
  • VPN 连接:通过 VPN 实现数据连通时,设置 VPN 网关绑定的私有网络的 ID。

vpc-bp1opxu1zkhn00gz****

SubnetId

String

私有网络 ID 内的子网 ID。

说明

子网网段需加入到目标数据库对应的白名单或安全组规则中。

subnet-bpkdt37pq72zv****

PublicElasticSearchSettings

EndpointType 取值为 Public_ElasticSearch,即公网自建 ElasticSearch 时,目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
EndpointsArray of String自建实例主机地址。192.168.***.***
UsernameString数据库账号。test****
PasswordString数据库密码。test****
RegionSettingsRegionSetting实例所属地域。-

PublicMongoSettings

EndpointType 取值为 Public_Mongo,即公网自建 MongoDB 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
EndpointsArray of String自建实例的主机地址,格式为 host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。192.168.***.***:4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
MongoAuthSourceDBString账号校验数据库。ReplicaSet

DeployType

String

MongoDB 实例的类型。取值如下:

  • Standalone:表示单节点。

  • ReplicaSet:表示副本集。

  • ShardedCluster:表示分片集群。

Standalone

RegionSettingsRegionSetting实例所属地域。-

PublicMySQLSettings

EndpointType 取值为 Public_MySQL,即公网自建 MySQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString自建实例的主机地址。192.168.***.***
PortInteger自建实例的端口号。4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
SSLSettingsSSLSettings实例加密信息。-
RegionSettingsRegionSetting实例所属地域。-

PublicPostgreSQLSettings

EndpointType 取值为 Public_PostgreSQL,即公网自建 PostgreSQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值
HostString自建实例的主机地址。192.168.***.***
PortInteger自建实例的端口号。4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
DBNameString数据库名称。test****
RegionSettingsRegionSetting实例所属地域。-

PublicRedisSettings

EndpointType 取值为 Public_Redis ,即公网自建 Redis 时,源库和目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选示例值描述
HostString自建实例的主机地址。192.168.***.***
PortInteger自建实例的端口号。4
UsernameString数据库账号。test****
PasswordString数据库密码。test****
DBNameString数据库名称。test****
RegionSettingsRegionSetting实例所属地域。-

Redis2RedisSettings

SolutionType 取值为 Redis2Redis 时,即实例类型为 Redis 的源实例迁移至实例类型为 Redis 目标实例的参数配置,被以下结构体引用:

  • SolutionSettings
参数类型是否必选描述示例值
ObjectMappingsArray of ObjectMapping源端和目标端对象的映射信息。详细信息,请参见ObjectMappings-

FullTransmissionSettings

FullTransmissionSettings

全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示全量迁移。

  • 数据订阅:表示全量订阅。

  • 数据同步:表示全量初始化。

-

IncrTransmissionSettings

IncrTransmissionSettings

通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:

  • 数据迁移:表示增量迁移。

  • 数据订阅:表示增量订阅。

  • 数据同步:表示增量同步。

说明

TaskType 取值为 DataSynchronization 时,该参数必填。

-

ErrorBehaviorSettings

ErrorBehaviorSettings

错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。

-

RegionSetting

地域信息。被以下结构体引用:

  • ECSMySQLSettings

  • ECSPostgreSQLSettings

  • ECSMongoSettings

  • ECSElasticSearchSettings

  • ECSKafkaSettings

  • ECSRedisSettings

  • PublicMySQLSettings

  • PublicPostgreSQLSettings

  • PublicMongoSettings

  • PublicElasticSearchSettings

  • PublicRedisSettings

  • VolcMySQLSettings

  • VolcveDBMySQLSettings

  • VolcPostgreSQLSettings

  • VolcMongoSettings

  • VolcElasticSearchSettings

  • VolcKafkaSettings

  • VolcRocketMQSettings

  • VolcRedisSettings

参数类型描述示例值
RegionString地域 ID。cn-beijing

SolutionSettings

创建迁移、订阅或同步任务对象的配置信息。被以下接口引用:

  • CreateTransmissionTask

  • ModifyTransmissionTask

参数类型是否必选描述示例值

SolutionType

String

任务类型。取值如下:

  • MySQL2MySQL:表示实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例。

  • MySQL2ES:表示实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 的目标实例。

  • MySQL2Kafka:表示实例类型为 MySQL 的源实例订阅到 Kafka。

  • MySQL2RocketMQ:表示实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版。

  • PG2PG:表示实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 的目标实例。

  • PG2Kafka:表示实例类型为 PostgreSQL 的源实例订阅到 Kafka。

  • PG2RocketMQ:表示实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版。

  • Mongo2Mongo:表示实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 的目标实例。

  • Redis2Redis:表示实例类型为 Redis 的源实例迁移至实例类型为 Redis 的目标实例。

MySQL2MySQL

MySQL2MySQLSettingsMySQL2MySQLSettingsSolutionType 取值为 MySQL2MySQL 时,实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例的参数配置,该参数必选。-
MySQL2ESSettingsMySQL2ESSettingsSolutionType 取值为 MySQL2ES 时,实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 的目标实例的参数配置,该参数必选。-

MySQL2KafkaSettings

MySQL2KafkaSettings

SolutionType 取值为 MySQL2Kafka 时,实例类型为 MySQL 的源实例订阅到 Kafka 的参数配置,该参数必选。

-

MySQL2RocketMQSettingsMySQL2RocketMQSettingsSolutionType 取值为 MySQL2RocketMQ 时,实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。-
PG2PGSettingsPG2PGSettingsSolutionType 取值为 PG2PG 时,实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 的目标实例的参数配置,该参数必选。-
PG2KafkaSettingsPG2KafkaSettingsSolutionType 取值为 PG2Kafka 时,实例类型为 PostgreSQL 的源实例订阅到 Kafka 的参数配置,该参数必选。-
PG2RocketMQSettingsPG2RocketMQSettingsSolutionType 取值为 PG2RocketMQ 时,实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。-
Mongo2MongoSettingsMongo2MongoSettingsSolutionType 取值为 Mongo2Mongo 时,实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 的目标实例的参数配置,该参数必选。-
Redis2RedisSettingsRedis2RedisSettingsSolutionType 取值为 Redis2Redis 时,实例类型为 Redis 的源实例迁移至实例类型为 Redis 的目标实例的参数配置,该参数必选。-

ResourceTag

任务标签列表信息。被以下接口引用:

  • DescribeTagByResource
参数类型描述示例值
TaskIdString绑定了由 key、value 指定的标签的任务的 ID。18064de5e9d345dc965ee45217******
KeyString与 TaskID 指定的任务绑定的标签的 key。key1
ValueString与 TaskID 指定的任务绑定的标签的 value。value1

SSLSettings

当实例的接入方式为火山引擎 ECS 自建时,加密的详细信息。被以下结构体引用:

  • DataSource

  • ECSMySQLSettings

  • PublicMySQLSettings

参数类型是否必选描述示例值

EnableSSL

Bool

是否开启 SSL 加密连接方式。取值如下:

  • true:表示开启 SSL 加密。

  • false:表示不开启 SSL 加密。

false

Cert

String

CA 证书内容。

说明

EnableSSL 取值为 true 时,该参数必选。

-----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE-----

SubscriptionGroupInfo

消费组的详细信息。被以下接口引用:

  • DescribeSubscriptionGroup

  • DescribeSubscriptionGroups

参数类型描述示例值
GroupNameString消费组名称。9863318d02ed4a6f88f14c03a2******:test****
UserNameString账号名称。test****
DescriptionString消费组的描述,帮助您辨识消费组的用途。用于订阅到 Kafka。
CreateTimeInteger创建消费组的时间。单位:秒。1679280623
UpdateTimeInteger消费组的更新时间。单位:秒。1679280623
PartitionIdInteger分区 ID。0
LogEndOffsetInteger最新的位点。0
OffsetInteger当前消费位点。-1
DelaySecondsInteger延迟时间。单位:秒。0

SubscriptionPartitionProgress

消费的进度信息。被以下接口引用:

  • DescribeSubscriptionGroupProgress
参数类型描述示例值
IdInteger分区 ID。0
LogEndOffsetInteger最高位点数。0
OffsetInteger当前消费位点。-1

SubscriptionSettings

订阅任务对象的配置信息。被以下结构体引用:

  • MySQL2KafkaSettings

  • MySQL2RocketMQSettings

  • PG2KafkaSettings

  • PG2RocketMQSettings

参数类型是否必选描述示例值

Protocol

String

数据订阅格式。取值如下:

  • Volc:表示火山引擎 Proto。

  • Canal:表示 Canal Proto。

  • CanalJSON:表示 Canal JSON。

说明

关于订阅格式的详细信息,请参见数据订阅格式

Volc

PartitionPolicy

String

Topic 的 Partition 接收策略。取值如下:

  • P0:表示统一投递至 Partition 0。

  • Table:表示按照库名和表名的联合 hash 值投递到不同 Partition。

  • Key:表示按主键的 hash 值投递到不同 Partition。

说明

TaskType 取值为 DataSubscription,且 EndpointType 取值为 ECS_KafkaVolc_Kafka 时,支持此配置。

P0

VPCId

String

私有网络 ID。

vpc-bp1opxu1zkhn00gz****

VPCSubnetId

String

私有网络 ID 内的子网 ID。

说明

私有网络内的子网至少要包含 1 个可用 IP。

AttachPoints.1.SubnetId=subnet-2fexiqjlgjif45oxruvso****&AttachPoints.2.SubnetId=subnet-7rtsu6whhle6j****

Tag

任务标签信息。被以下接口引用:

  • AddTagsToResource
参数类型是否必选描述示例值

Key

String

标签的键信息。配置规格如下:

  • 支持任何语言、文字、数字、空格或符号(_.:/=+-@)。

  • 大小写敏感,且长度在 1~128 个字符内。

  • 使用 UTF-8 编码的 Unicode 格式。

  • 不支持设置以 volc: 开头的任何形式的 Key,例如 Volc:VOLC: 等。

key1

Value

String

标签的值信息。配置规格如下:

  • 支持任何语言、文字、数字、空格或符号(_.:/=+-@)。

  • 大小写敏感,且长度在 0~256 个字符内。

  • 使用 UTF-8 编码的 Unicode 格式。

value1

TagFilter

任务标签信息。被以下接口引用:

  • DescribeTagByResource
参数类型是否必选描述示例值

Key

String

用于查询筛选的标签键。

  • 如需使用标签对实例进行查询筛选,该参数必填。

  • 允许传入重复的标签键。

  • 单次最多支持同时传入 10 个标签进行查询筛选。

key1

Value

String

用于查询筛选的标签键所对应的标签值。

  • 若该参数留空,表示不对标签值作限制,会筛选所有绑定了指定标签键的实例。

  • 若传入空字符串,表示筛选对应标签键下,标签值为空的实例。

value1

TaskInfo

任务详细信息。被以下接口引用:

  • DescribeTransmissionTasks

  • DescribeTransmissionTaskInfo

  • ModifyTransmissionTask

参数类型示例值描述

TaskId

String

任务 ID。

6f2fd63c0ea947b280877f5d2a*******

TaskNameString任务名称。test****

TaskStatus

String

任务状态,取值如下:

  • Canceled:表示传输已取消。

  • Failed:表示传输任务执行失败。

  • Running:表示传输任务执行中。

  • Suspend:表示传输任务暂停中。

  • Init:表示传输任务待启动。

  • Terminating:表示传输任务终止中。

Failed

TaskType

String

任务类型。取值如下:

  • DataMigration:表示创建数据迁移任务。

  • DataSubscription:表示创建数据订阅任务。

  • DataSynchronization:表示创建数据同步任务。

DataSubscription

SrcConfigDataSource源端信息。-
DestConfigDataSource目标端信息。-
SolutionSettingsSolutionSetting迁移、订阅或同步任务对象的配置信息。-

ChargeDetail

ChargeDetailObject

计费信息。

-

ChargeConfigChargeConfig计费配置。-

TrafficSpec

String

任务链路规格。支持 CompactStandard 取值。关于链路规格的详细信息,请参见产品规格

Compact

ProgressSummaryProgressSummary传输任务总进度。-

ErrorInfo

String

任务报错信息。

{
    "biz_context":"{
            "log_id":"88e5ed340fb4466b999bc894512b0501",
            "tenant_id":"2100157781",
            "instance_id":"6f2fd63c0ea947b280877f5d2a384b1f"
    }",
    "reason":"mysql endpoint error: dial tcp 172.17.46.117:3306: i/o timeout",
    "kind":1,
    "app":"AppMySQLIncr2Kafka",
    "app_id":"1049"
}

CreateTimeInteger创建任务的时间。1661242976288

StartTime

Integer

任务开始时间,毫秒时间戳。

说明

  • 若设置了该参数,查询结束时间(即 EndTime)参数也必填。

  • 若该参数留空,默认返回当前任务类型下已存在的所有任务。

1661242976288

EndTime

Integer

任务结束时间,毫秒时间戳。

说明

  • 若设置了该参数,查询结束时间(即 EndTime)参数也必填。

  • 结束时间要晚于开始时间。

0

ProjectNameString项目名称。default
ParentTaskIDString主任务 ID。当开启双向同步时该 ID 是反向同步任务对应正向同步任务的 ID。4f85ae2481a643d99c0f45444******

AddSyncObjectAllowed

Bool

是否允许修改同步对象,取值如下:

  • true:表示允许修改同步对象。

  • false:表示不允许修改同步对象。

true

EnableDataValidation

Bool

是否启用数据校验,取值如下:

  • true:表示开启。

  • false:表示关闭。

true

TaskSubType

String

数据同步类型。取值如下:

  • Default:表示默认值。

  • ForwardSync:表示正向同步。

  • BackwardSync:表示反向同步。

Default

EnableCloudMonitor

Bool

是否开启云监控,取值如下:

  • true:表示开启。

  • false:表示关闭,默认值。

true

UpdateTimeInteger任务的更新时间,毫米时间戳。1661242976290
SnapshotGtidString全量一致性迁移配置。SnapshotGtid

TaskProgress

任务进度。被以下接口引用:

  • DescribeTransmissionTaskProgress
参数类型描述示例值

ProgressType

String

任务类型。取值如下:

  • Account:表示用户迁移。在 TaskType 取值为 DataMigration 时,支持该取值。

  • Meta:表示结构迁移、库表结构订阅或结构初始化。

  • Full:表示全量迁移、全量订阅或全量初始化。

  • Incr:表示增量迁移、增量订阅或增量初始化。

Full

TotalInteger任务的总数量。10
AccountProgressArray of AccountProgressItem用户迁移进度。详细信息,请参见 AccountProgressItem-
MetaProgressArray of MetaProgressItem结构迁移、库表结构订阅或结构初始化任务进度。详细信息,请参见 MetaProgressItem-
FullProgressArray of FullProgressItem全量迁移、全量订阅或全量初始化任务进度。详细信息,请参见 FullProgressItem-
IncrProgressArray of IncrProgressItem增量迁移、增量订阅或增量同步任务进度。详细信息,请参见 IncrProgressItem-

ValidationTaskInfo

参数类型描述示例值
IDString数据校验任务 ID。db0e21b0e17c4c768527cd3d5b******
NameString数据校验任务的名称。test****

Status

String

任务状态,取值如下:

  • Success:表示任务已完成。

  • Failed:表示任务执行失败。

  • Running:表示任务执行中。

  • Suspend:表示任务暂停中。

  • Init:表示任务待启动。

  • Terminating:表示任务已终止。

Success

ProgressInteger校验任务进度。100

DiffCount

Integer

Diff 行数。

说明

最多支持返回 100 行 Diff。

0

EstimateCountInteger预估总行数。0
DiffRateIntegerDiff 率。0
CreateTimeInteger数据校验任务的创建时间。1679291969803
EndTimeInteger数据校验任务的结束时间。1679292034249

VolcElasticSearchSettings

EndpointType 取值为 Volc_ElasticSearch,即火山引擎版 ElasticSearch 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选说明示例值

DBInstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。

  • 您可以调用 DescribeInstances 接口查询实例 ID。

ztuc43y38z4w****

UsernameString数据库账号。test****
PasswordString数据库密码。test****
RegionSettingsRegionSetting实例所属地域。-

VolcKafkaSettings

当创建数据订阅任务,需要将数据订阅到消息队列 Kafka 版,即 EndpointType 取值为 Volc_Kafka 时,目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

InstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_Kafka 时,该参数必选。

  • 您可以调用 DescribeInstancesSummary 接口查询实例 ID。

kafka-****

AuthTypeString认证方式,默认取值 plainplain
UsernameStringKafka 实例使用 PLAIN 模式的用户名称。test****
PasswordStringKafka 实例使用 PLAIN 模式的用户密码。test****
TopicStringKafka 的 Topic 名称。my_topic
RegionSettingsRegionSetting实例所属地域。-

VolcMongoSettings

EndpointType 取值为 Volc_Mongo,即火山引擎版 MongoDB 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

DBInstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_Mongo 时,该参数必选。
  • 您可以调用 DescribeDBInstanceDetail 接口查询实例 ID。

mongo-replica-e405f8e2****

UsernameString数据库账号。test****
PasswordString数据库密码。test****

MongoAuthSourceDB

String

账号校验数据库,在 EndpointType 取值为 Volc_Mongo 时,该参数默认值为 root

ReplicaSet

DeployType

String

MongoDB 的实例类型。取值如下:

  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。

ShardedCluster

RegionSettingsRegionSetting实例所属地域。-

VolcMySQLSettings

EndpointType 取值为 Volc_MySQL,即火山引擎版 MySQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

DBInstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_MySQL 时,该参数必选。
  • 您可以调用 DescribeDBInstances 接口查询实例 ID。

mysql-3d224def****

UsernameString数据库账号。test****
PasswordString数据库密码。test****
RegionSettingsRegionSetting实例所属地域。-

VolcPostgreSQLSettings

EndpointType 取值为 Volc_PostgreSQL,即火山引擎版 PostgreSQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

DBInstanceId

String

实例 ID。

说明

EndpointType 取值为 Volc_PostgreSQL 时,该参数必选。

postgres-h441603c68aaa****

UsernameString数据库账号。test****
PasswordString数据库密码。test****
DBNameString数据库名称。test****
RegionSettingsRegionSetting实例所属地域。-

VolcRedisSettings

EndpointType 取值为 Volc_Redis,即火山引擎版 Redis 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

DBInstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_Redis 时,该参数必选。
  • 您可以调用 DescribeDBInstances 接口查询实例 ID。

redis-cn0212gzmh2xs****

UsernameString数据库账号。test****
PasswordString数据库密码。test****
RegionSettingsRegionSetting实例所属地域。-

VolcRocketMQSettings

当创建数据订阅任务,需要将数据订阅到消息队列 RocketMQ 版,即 EndpointType 取值为 Volc_RocketMQ 时,目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

InstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_RocketMQ 时,该参数必选。
  • 您可以调用 GetInstance 接口查询实例 ID。

MQ_INST_*****

AuthTypeString认证方式,默认取值 plainplain
UsernameStringRocketMQ 实例的用户名称。test****
PasswordStringRocketMQ 实例的用户密码。test****
TopicStringRocketMQ 的 Topic 名称。my_topic
RegionSettingsRegionSetting实例所属地域。-

VolcveDBMySQLSettings

EndpointType 取值为 Volc_veDB_MySQL,即火山引擎版 veDB MySQL 时,源库或目标库的信息。被以下结构体引用:

  • DataSource
参数类型是否必选描述示例值

DBInstanceId

String

实例 ID。

说明

  • EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。
  • 您可以调用 DescribeDBInstanceDetail 接口查询实例 ID。

vedbm-r3xq0zdl****

DBInstanceNameString实例名称。TestveDB
UsernameString数据库账号。test****
PasswordString数据库密码。test****
RegionSettingsRegionSetting实例所属地域。-