最近更新时间:2023.10.17 11:57:19
首次发布时间:2023.03.29 20:43:53
本文汇总数据库传输服务 DTS 的 API 接口中使用的数据结构定义详情。
账号信息。在 TaskType
取值为 DataMigration
、ProgressType
取值为 Account
时,可设置的参数信息。被以下接口引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Account | String | 是 | 待迁移的账号名称。 | test**** |
ResetPassword | Bool | 否 | 是否重置密码,取值如下:
| true |
Password | String | 否 | 待迁移账号的新密码。 | *Test**** |
任务中用户迁移进度。被以下接口引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Account | String | 账号名称。 | test**** |
StartTime | Integer | 用户迁移的开始时间,毫秒时间戳。 | 0 |
FinishTime | Integer | 用户迁移的结束时间,毫秒时间戳。 | 1679300319338820 |
Statement | String | 需要传输的 SQL 语句。取值如下:
| StmtDDLAll |
state | String | 单个任务传输状态。取值如下:
| None |
type | String | 用户迁移的类型,取值如下:
| Account |
将源库中指定的非系统账号及账号所拥有的权限迁移到目标库的详细信息。被以下接口引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
EnableAccount | Bool | 否 | 是否开启用户迁移。取值如下:
| false |
在 EndpointType
取值为 Builtin_Kafka
时,目标库的信息。被以下接口引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Brokers | Array of String | 是 | Broker 的 IP 地址及端口号,格式为 | [ |
Topic | String | 是 | Kafka 的 Topic ID。 | 6f2fd63c0ea947b280877f5d2a****** |
计费的配置信息。被以下接口和结构体引用:
CreateTransmissionTask
TaskInfo
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
ChargeType | String | 否 | 计费类型,取值如下:
| PrePaid |
Times | Integer | 否 | 购买时长。 说明 在 | 12 |
AutoRenew | Bool | 否 | 是否自动续费,取值如下:
| true |
OneStep | Bool | 否 | 是否立即付费,取值如下:
| false |
计费的详细信息。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
ChargeStartTime | Integer | 任务开始计费的时间,毫秒时间戳。 | 1668569330000 |
ChargeStatus | String | 任务订单状态。取值如下:
| Normal |
ChargeType | String | 计费类型,取值如下:
| Postpaid |
OrderNo | Integer | 计费订单 ID。 | Order7166450525830****** |
名称 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Times | Integer | 是 | 包年包月的购买时长,支持 1 、2 、3 、4 、5 、6 、7 、8 、9 、12 、24 和 36 取值,单位:月。 | 3 |
AutoRenew | Bool | 否 | 包年包月到期后是否自动续费,取值如下:
| true |
源库或目标库的详细信息。被以下接口和结构体引用:
CreateTransmissionTask
ModifyTransmissionTask
TaskInfo
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
EndpointType | String | 是 | 实例的接入方式,取值如下:
| Volc_MySQL |
DataSourceId | String | - | 源端实例 ID。在创建任务时,无需设置此参数。 | 362 |
VolcMySQLSettings | VolcMySQLSettings | 否 | 表示接入方式为火山引擎版 MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_MySQL 时,该参数必选。 | - |
VolcveDBMySQLSettings | VolcveDBMySQLSettings | 否 | 表示接入方式为火山引擎版 veDB MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。 | - |
VolcPostgreSQLSettings | VolcPostgreSQLSettings | 否 | 表示接入方式为火山引擎版 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Volc_PostgreSQL 时,该参数必选。 | - |
VolcMongoSettings | VolcMongoSettings | 否 | 表示接入方式为火山引擎版 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Volc_Mongo 时,该参数必选。 | - |
VolcElasticSearchSettings | VolcElasticSearchSettings | 否 | 表示接入方式为火山引擎版 ElasticSearch 的目标库的信息。在 EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。 | - |
VolcKafkaSettings | VolcKafkaSettings | 否 | 表示接入方式为火山引擎版 Kafka 的目标库的信息。在 EndpointType 取值为 Volc_Kafka 时,该参数必选。 | - |
VolcRocketMQSettings | VolcRocketMQSettings | 否 | 表示接入方式为火山引擎版 RocketMQ 的目标库的信息。在 EndpointType 取值为 Volc_RocketMQ 时,该参数必选。 | - |
VolcRedisSettings | VolcRedisSettings | 否 | 表示接入方式为火山引擎版 Redis 的目标库的信息。在 EndpointType 取值为 Volc_Redis 时,该参数必选。 | - |
ECSMySQLSettings | ECSMySQLSettings | 否 | 表示接入方式为火山引擎 ECS 自建 MySQL 的源库或目标库的信息。在 EndpointType 取值为 ECS_MySQL 时,该参数必选。 | - |
ECSPostgreSQLSettings | ECSPostgreSQLSettings | 否 | 表示接入方式为火山引擎 ECS 自建 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 ECS_PostgreSQL 时,该参数必选。 | - |
ECSMongoSettings | ECSMongoSettings | 否 | 表示接入方式为火山引擎 ECS 自建 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 ECS_Mongo 时,该参数必选。 | - |
ECSElasticSearchSettings | ECSElasticSearchSettings | 否 | 表示接入方式为火山引擎 ECS 自建 ElaticSearch 的源库或目标库的信息。在 EndpointType 取值为 ECS_ElasticSearch 时,该参数必选。 | - |
ECSKafkaSettings | ECSKafkaSettings | 否 | 表示接入方式为火山引擎 ECS 自建 Kafka 的源库或目标库的信息。在 EndpointType 取值为 ECS_Kafka 时,该参数必选。 | - |
ECSRedisSettings | ECSRedisSettings | 否 | 表示接入方式为火山引擎 ECS 自建 Redis 的源库或目标库的信息。在 EndpointType 取值为 ECS_Redis 时,该参数必选。 | - |
PublicMySQLSettings | PublicMySQLSettings | 否 | 表示接入方式为公网自建 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Public_MySQL 时,该参数必选。 | - |
PublicPostgreSQLSettings | PublicPostgreSQLSettings | 否 | 表示接入方式为公网自建 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Public_PostgreSQL 时,该参数必选。 | - |
PublicMongoSettings | PublicMongoSettings | 否 | 表示接入方式为公网自建 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Public_Mongo 时,该参数必选。 | - |
PublicElasticSearchSettings | PublicElasticSearchSettings | 否 | 表示接入方式为公网自建 ElasticSearch 的源库或目标库的信息。在 EndpointType 取值为 Public_ElasticSearch 时,该参数必选。 | - |
PublicRedisSettings | 否 | 表示接入方式为公网自建 Redis 的源库或目标库的信息。在 | - | |
BuiltinKafkaSettings | BuiltinKafkaSettings | 否 | 表示在数据订阅任务中,将数据订阅到内置中间件的参数信息。在 EndpointType 取值为 Builtin_Kafka 时,该参数必选。 | - |
Express_Mongo | ExpressMongoSettings | 否 | 表示接入方式为火山引擎专有网络 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Express_Mongo 时,该参数必选。 | - |
Express_MySQL | ExpressMySQLSettings | 否 | 表示接入方式为火山引擎专有网络 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Express_MySQL 时,该参数必选。 | - |
Express_PostgreSQL | 否 | 表示接入方式为火山引擎专有网络 PostgreSQL 的源库或目标库的信息。在 | - | |
Express_Redis | ExpressRedisSettings | 否 | 表示接入方式为火山引擎专有网络 Redis 的源库或目标库的信息,在 EndpointType 取值为 Express_Redis 时,该参数必选。 | - |
在 EndpointType
取值为 ECS_ElasticSearch
,即火山引擎 ECS 自建 ElasticSearch 时,目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 示例值 | 描述 |
---|---|---|---|---|
Endpoints | Array of String | 是 | 自建实例的主机地址,格式为 Host:port 。 | 192.168.***.***:4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
ECSSettings | ECSSettings | 是 | 私有网络的信息。 | - |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
当创建数据订阅任务,需要将数据订阅到火山引擎 ECS 自建 Kafka ,即 EndpointType
取值为 ECS_Kafka
,目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
BrokerEndpoints | String | 是 | Broker 的 IP 地址及端口号,格式为 host:port 。 | 192.168.***.***:4 |
AuthType | String | 是 | 认证方式,默认取值 plain 。 | plain |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
Topic | String | 是 | Kafka 的 Topic 名称。 | test**** |
ECSSettings | ECSSettings | 是 | 私有网络信息。 | - |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 ECS_Mongo
,即火山引擎 ECS 自建 MongoDB 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Endpoints | Array of String | 是 | 自建实例的主机地址,格式为 Host:port 。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。 | 192.168.***.***:4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
MongoAuthSourceDB | String | 是 | 账号校验数据库。 | ReplicaSet |
DeployType | String | 是 | 实例的实例类型。取值如下:
| ShardedCluster |
ECSSettings | ECSSettings | 是 | 私有网络的信息。 | - |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 ECS_MySQL
,即火山引擎 ECS 自建 MySQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 自建实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 自建实例的端口号。 | 4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
ECSSettings | ECSSettings | 是 | 私有网络的信息。 | - |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
SSLSettings | SSLSettings | 否 | 实例加密信息。 | - |
在 EndpointType
取值为 ECS_PostgreSQL
,即火山引擎 ECS 自建 PostgreSQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 自建实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 自建实例的端口号。 | 4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
DBName | String | 是 | 数据库名称。 | test**** |
ECSSettings | ECSSettings | 是 | 私有网络的信息。 | - |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 ECS_Redis
,即火山引擎 ECS 自建 Redis 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 自建实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 自建实例的端口号。 | 4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
ECSSettings | ECSSettings | 是 | 私有网络信息。 | - |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
私有网络信息。被以下结构体引用:
ECSMySQLSettings
ECSPostgreSQLSettings
ECSMongoSettings
ECSElasticSearchSettings
ECSKafkaSettings
ECSRedisSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
VPCID | String | 是 | 实例所属私有网络 ID。 | vpc-bp1opxu1zkhn00gz**** |
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。被以下结构体引用:
MySQL2MySQLSettings
MySQL2ESSettings
MySQL2KafkaSettings
MySQL2RocketMQSettings
PG2PGSettings
PG2KafkaSettings
PG2RocketMQSettings
Mongo2MongoSettings
Redis2RedisSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
MaxRetrySeconds | Integer | 否 | 最大错误重试时间。取值范围:600~86400,单位:秒(s)。默认值为 7200 秒。 | 7200 |
在同步至 ElasticSearch 时的参数信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
IdxNameRule | String | 否 | 索引拼接规则。
| Table |
ShardNum | Integer | 否 | 分片数。 | 3 |
ReplicaNum | Integer | 否 | 副本数。 | 1 |
TZ | String | 否 | 时区。支持 UTC -12:00 ~ +13:00。默认值为 Region 所在的 TimeZone。 | UTC +08:00 |
RetryTimes | Integer | 否 | 错误重试时间。 | 7200 |
Analyzer | String | 否 | 支持的分词器。 | standard |
InsertMode | String | 否 | 源端的插入操作,取值如下:
| Replace |
ElasticSearch 的结构映射参数。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
PidCol | Array of String | 否 | 主键(_id)取值。当不设置此参数时,默认为主键的列。 | ["id", "name"] |
EnableRouting | Bool | 否 | 是否启用 Routing,取值如下:
| EnableRouting |
RoutingCol | Array of String | 否 | _routing 的取值。当 EnableRouting 取值为 true 时,该参数必选。 | ["id"] |
ETL 参数的详细信息。被以下结构体引用:
MySQL2MySQLSettings
MySQL2ESSettings
MySQL2KafkaSettings
MySQL2RocketMQSettings
PG2PGSettings
PG2KafkaSettings
PG2RocketMQSettings
Mongo2MongoSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Script | String | 否 | 流式数据 ETL 的脚本。关于脚本依赖的语法信息,请参见 DSL 语法。 |
|
在 EndpointType
取值为 Express_Mongo
(即火山引擎专有网络 MongoDB)时,源库或目标库的信息。被以下接口或结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Endpoints | Array of String | 是 | 火山引擎专有网络 MongoDB 实例的主机地址,格式为 Host:port 。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。 | 192.168.***.***:4 |
Username | String | 是 | 火山引擎专有网络 MongoDB 实例的数据库账号。 | test*** |
Password | String | 是 | 火山引擎专有网络 MongoDB 实例的数据库账号密码。 | Admin@*** |
MongoAuthSourceDB | String | 是 | 账号校验数据库。 | ReplicaSet |
DeployType | String | 是 | 实例的实例类型。取值如下:
| ShardedCluster |
PrivateNetworkSettings | PrivateNetworkSetting | 是 | 私有网络的配置信息。 | - |
RegionSettings | RegionSetting | 是 | 地域 ID。 | cn-beijing |
在 EndpointType
取值为 Express_MySQL
(即火山引擎专有网络 MySQL )时,源库或目标库的信息。被以下接口或结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 火山引擎专有网络 MySQL 实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 火山引擎专有网络 MySQL 实例的端口。 | 4 |
Username | String | 是 | 火山引擎专有网络 MySQL 实例的数据库账号。 | test*** |
Password | String | 是 | 火山引擎专有网络 MySQL 实例的数据库账号密码。 | Admin@*** |
PrivateNetworkSettings | PrivateNetworkSetting | 是 | 私有网络的配置信息。 | - |
RegionSettings | RegionSetting | 是 | 地域 ID。 | cn-beijing |
在 EndpointType
取值为 Express_PostgreSQL
(即火山引擎专有网络 PostgreSQL)时,源库或目标库的信息。被以下接口或结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 火山引擎专有网络 PostgreSQL 实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 火山引擎专有网络 PostgreSQL 实例的端口。 | 4 |
Username | String | 是 | 火山引擎专有网络 PostgreSQL 实例的数据库账号。 | test*** |
Password | String | 是 | 火山引擎专有网络 PostgreSQL 实例的数据库账号密码。 | Admin@*** |
DBName | String | 是 | 数据库名称。 | test**** |
PrivateNetworkSettings | PrivateNetworkSetting | 是 | 私有网络的配置信息。 | - |
RegionSettings | RegionSetting | 是 | 地域 ID。 | cn-beijing |
在 EndpointType
取值为 Express_Redis
(即火山引擎专有网络 Redis)时,源库或目标库的信息。被以下接口或结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 火山引擎专有网络 Redis 实例实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 火山引擎专有网络 Redis 实例的端口。 | 4 |
Username | String | 是 | 火山引擎专有网络 Redis 实例的数据库账号。 | test*** |
Password | String | 是 | 火山引擎专有网络 Redis 实例的数据库账号密码。 | Admin@*** |
PrivateNetworkSettings | PrivateNetworkSetting | 是 | 私有网络的配置信息。 | - |
RegionSettings | RegionSetting | 是 | 地域 ID。 | cn-beijing |
全量过滤信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Db | String | 否 | 需要过滤的数据库名称。 | TestName |
Table | String | 否 | 需要过滤的表格名称。 | TableName |
WhereSql | String | 否 | 过滤的 SQL 语句。 | id = 5 |
任务中全量迁移、全量订阅或全量初始化进度。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Database | 数据库信息。 | { | |
Object | 源端和目标端的库表映射对象。 | { | |
StartTime | Integer | 开始进行全量迁移、订阅或初始化的时间,毫秒时间戳。 | 1679300366000 |
FinishTime | Integer | 全量迁移、订阅或初始化的结束时间,毫秒时间戳。 | 1679300366000 |
TransferRows | Integer | 传输行数。 | 0 |
TransferBytes | Integer | 传输字节数。 | 0 |
TransferEstimateRows | Integer | 预估行数。 | 0 |
State | String | 任务传输状态。取值如下:
| Completed |
ShardID | String | 分片 ID。 | 0 |
RowAvgBytes | Integer | 行平均大小。 | 0 |
TransferEstimateBytes | Integer | 预估总的传输数据量。 | 0 |
全量读取源表内容并写到对应的目标库的详细信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
EnableFull | Bool | 否 | 是否开启全量迁移、全量订阅或全量初始化。取值如下:
| true |
Snapshot | Bool | 否 | 是否开启全量一致性迁移。取值如下:
| true |
ExtraConditions | Array of FullExtraCondition | 否 | 全量过滤条件。 | FullExtraCondition |
RPSLimit | Integer | 否 | 每秒迁移或同步的行数,取值范围为 1~100000,默认值为 100000。 | 100000 |
BPSLimit | Integer | 否 | 每秒迁移或同步的数据量,取值范围 1~25000,单位 KB,默认值为 25000。 | 25000 |
任务中增量迁移、增量订阅或增量初始化。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Database | 数据库信息。 | { | |
Object | 源端和目标端的库表映射对象。 | { | |
TransferRows | Integer | 传输行数。 | 0 |
TransferBytes | Integer | 传输字节数。 | 0 |
ShardID | String | 分片 ID。 | 0 |
State | String | 任务传输状态。取值如下:
| Completed |
LatencySeconds | Integer | 延迟时间,单位:秒(s)。 | 0 |
目标库增量日志解析和回放的详细信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
EnableIncr | Bool | 否 | 是否开启增量迁移、增量订阅或增量同步。取值如下:
说明 当 | true |
Statements | String | 否 | 需要传输的操作语句。取值如下:
| [ |
传输任务总进度信息。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
ErrorInfo | String | 任务报错信息。 | mysql endpoint error: dial tcp 172.17.46.117:3306: i/o timeout |
NameCN | String | 任务进度的类型。 | 增量订阅 |
ProgressType | String | 任务类型。取值如下:
| Incr |
Status | String | 任务状态。取值如下:
| Doing |
传输任务对象。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
DestObjName | String | 是 | 目标端对象名称。 | test**** |
ObjectType | String | 是 | 对象类型。取值如下:
| Table |
SrcObjName | String | 是 | 源端对象名称。 | zaizai |
任务中结构迁移、库表结构订阅或结构初始化进度。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Database | 数据库信息。 | { | |
Object | 源端和目标端的库表映射对象。 | { | |
StartTime | Integer | 开始进行库表结构迁移、订阅或初始化的时间,毫秒时间戳。 | 0 |
FinishTime | Integer | 库表结构迁移、订阅或初始化的结束时间,毫秒时间戳。 | 1679300319338837 |
Ddl | String | 创建库表结构的操作语句。 | \nCREATE DATABASE test**** /*!40100 DEFAULT CHARACTER SET utf8 */ |
State | String | 任务传输状态。取值如下:
| Completed |
读取源库表结构定义语法,重新组装成目标库的语法格式的详细信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
EnableMeta | Bool | 否 | 是否开启库表结构迁移或订阅。取值如下:
| true |
任务链路规格信息。被以下接口引用:
名称 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
TrafficSpec | String | 否 | 任务链路规格。支持 Compact 和 Standard 取值。关于链路规格的详细信息,请参见产品规格。 | Compact |
在 SolutionType
取值为 1
时,即实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 目标实例的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
ETLSettings | ETLSettings | 否 | 流式数据 ETL 参数配置。 | - |
ErrorBehaviorSettings | ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。 | 7200 |
ESExtraArgs | ESExtraArgs | 否 | 在同步至 ElasticSearch 时的参数信息。 | - |
PolicyForPrimaryKeyConflict | String | 否 | 主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:
注意 在取值为 | ThrowError |
在 SolutionType
取值为 Mongo2Mongo
时,即实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 目标实例的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见 ObjectMappings。 | - |
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
ETLSettings | ETLSettings | 否 | ETL 参数配置。 | - |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。 | - |
在 SolutionType
取值为 MySQL2MySQL
时,即实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例的参数配置。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
AccountTransmissionSettings | 否 | 将源库中指定的非系统账号及账号所拥有的权限迁移到目标库。 说明 仅 | - | |
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 在 | - | |
EnableForeignKeyChecks | Bool | 是 | 是否开启外键检查,开启外键检查后,支持同步源库的外键级联更新、删除等操作,保证数据同步的完整性和一致性。取值如下: | true |
ETLSettings | ETLSettings | 否 | ETL 参数配置。 | - |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。 | 7200 | |
MySQLPosition | 否 | 设置从某指定位点或时间点拉取 Binlog 日志。 说明
| - | |
PolicyForPrimaryKeyConflict | String | 否 | 主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:
注意 在取值为 | Override |
AccountMapping | Array of AccountMapping | 否 | 待迁移的数据库账号信息。详细信息,请参见 AccountMapping。 说明 仅 | - |
在 SolutionType
取值为 MySQL2Kafka
时,即实例类型为 MySQL 的源实例订阅到 Kafka 的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
SubscriptionSettings | SubscriptionSettings | 是 | 订阅任务对象的配置信息。 | - |
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
ETLSettings | ETLSettings | 否 | ETL 参数配置。 | - |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。 | - | |
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
MySQLPosition | 否 | 设置从某指定位点或时间点拉取 Binlog 日志。 说明
| - |
在 SolutionType
取值为 MySQL2RocketMQ
时,即实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
SubscriptionSettings | SubscriptionSettings | 是 | 订阅任务对象的配置信息。 | - |
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
ETLSettings | ETLSettings | 否 | 流式数据 ETL 的参数配置。 | - |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。 | - | |
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
MySQLPosition | 否 | 设置从某指定位点或时间点拉取 Binlog 日志。 说明
| - |
表示从某指定位点或时间点拉取 Binlog 日志。以下参数只需设置一个即可,当不设置时,默认为系统能识别的当前时间点拉取 Binlog 日志。被以下结构体引用:
MySQL2MySQLSettings
MySQL2ESSettings
MySQL2KafkaSettings
MySQL2RocketMQSettings
PG2PGSettings
PG2KafkaSettings
PG2RocketMQSettings
Mongo2MongoSettings
Redis2RedisSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Gtid | String | 否 | 表示从指定的 GTID 开始拉取 Binlog 日志,格式为 | 3e11fa47-71ca-11e1-9e33-c80aa9429562:58 |
Gset | String | 否 | 表示从指定的 GTID_EXECUTED 开始拉取 Binlog 日志,格式为 说明 关于如何获取实例的 GTID_EXECUTED,请参见如何获取实例的 GTID_EXECUTED。 | f76eb90f-82a2-11e5-a162-7ca23e9126c5:3 |
Timestamp | Integer | 否 | 表示从指定的时间戳开始拉取 Binlog 日志。 | 1679642652 |
源端和目标端对象的映射信息。被以下结构体引用:
MySQL2MySQLSettings
MySQL2ESSettings
MySQL2KafkaSettings
MySQL2RocketMQSettings
PG2PGSettings
PG2KafkaSettings
PG2RocketMQSettings
Mongo2MongoSettings
Redis2RedisSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
ObjectType | String | 是 | 对象类型。取值如下:
| Function |
SrcObjName | String | 是 | 源端对象名称。 | zaizai |
DestObjName | String | 是 | 目标端对象名称。 | test**** |
MappingList | Array of objectMapping | 否 | 传输任务对象。详细信息,请参见 objectMappings。 | - |
ObjectMappingSetting | 否 | 在数据同步至 ElasticSearch 时,需配置的其他参数信息。 | - |
在数据同步至 ElasticSearch 时,需配置的其他参数信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
ESMetaMappingSetting | ESMetaMappingSetting | 否 | ElasticSearch 的结构映射参数。 | - |
在 SolutionType
取值为 PG2Kafka
时,即实例类型为 PostgreSQL 的源实例订阅到 Kafka 的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
SubscriptionSettings | SubscriptionSettings | 是 | 订阅任务对象的配置信息。 | - |
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
ETLSettings | ETLSettings | 否 | ETL 参数配置。 | - |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。 | - | |
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
MySQLPosition | Array of MySQLPosition | 否 | 设置从某指定位点或时间点拉取 Binlog 日志。详细信息,请参见 MySQLPosition。 说明
| - |
在 SolutionType
取值为 PG2PG
时,即实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 目标实例的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| MetaTransmissionSettings | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| FullTransmissionSettings | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | IncrTransmissionSettings | |
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | |
ETLSettings | ETLSettings | 否 | ETL 参数配置。 | |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。 | - |
在 SolutionType
取值为 PG2RocketMQ
时,即实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
SubscriptionSettings | SubscriptionSettings | 是 | 订阅任务对象的配置信息。 | - |
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
ETLSettings | ETLSettings | 否 | ETL 参数配置。 | - |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。 | - | |
MetaTransmissionSettings | 否 | 读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
MySQLPosition | Array of MySQLPosition | 否 | 设置从某指定位点或时间点拉取 Binlog 日志。详细信息,请参见 MySQLPosition。 说明
| - |
任务中后置结构迁移进度。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Database | 数据库信息。 | { | |
Object | 源端和目标端的库表映射对象。 | { | |
StartTime | Integer | 开始进行后置结构迁移的时间,毫秒时间戳。 | 0 |
FinishTime | Integer | 后置结构迁移的结束时间,毫秒时间戳。 | 1679300319338837 |
Ddl | String | 创建后置结构迁移的操作语句。 | \nCREATE DATABASE test**** /*!40100 DEFAULT CHARACTER SET utf8 */ |
State | String | 任务传输状态。取值如下:
| Completed |
传输任务总进度。被以下结构体引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Infos | Array of Info | 传输任务总进度信息。详细信息,请参见 Info。 | - |
私有网络的配置信息。被以下接口或结构体引用:
ExpressMySQLSettings
ExpressPostgreSQLSettings
ExpressMongoSettings
ExpressRedisSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
VpcId | String | 是 | 私有网络 ID。根据火山引擎专有网络的连接方式,私有网络 ID 取值如下所示:
| vpc-bp1opxu1zkhn00gz**** |
SubnetId | String | 是 | 私有网络 ID 内的子网 ID。 说明 子网网段需加入到目标数据库对应的白名单或安全组规则中。 | subnet-bpkdt37pq72zv**** |
在 EndpointType
取值为 Public_ElasticSearch
,即公网自建 ElasticSearch 时,目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Endpoints | Array of String | 是 | 自建实例主机地址。 | 192.168.***.*** |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
RegionSettings | RegionSetting | 否 | 实例所属地域。 | - |
在 EndpointType
取值为 Public_Mongo
,即公网自建 MongoDB 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Endpoints | Array of String | 是 | 自建实例的主机地址,格式为 host:port 。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。 | 192.168.***.***:4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
MongoAuthSourceDB | String | 是 | 账号校验数据库。 | ReplicaSet |
DeployType | String | 是 | MongoDB 实例的类型。取值如下:
| Standalone |
RegionSettings | RegionSetting | 否 | 实例所属地域。 | - |
在 EndpointType
取值为 Public_MySQL
,即公网自建 MySQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 自建实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 自建实例的端口号。 | 4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
SSLSettings | SSLSettings | 否 | 实例加密信息。 | - |
RegionSettings | RegionSetting | 否 | 实例所属地域。 | - |
在 EndpointType
取值为 Public_PostgreSQL
,即公网自建 PostgreSQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Host | String | 是 | 自建实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 自建实例的端口号。 | 4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
DBName | String | 是 | 数据库名称。 | test**** |
RegionSettings | RegionSetting | 否 | 实例所属地域。 | - |
在 EndpointType
取值为 Public_Redis
,即公网自建 Redis 时,源库和目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 示例值 | 描述 |
---|---|---|---|---|
Host | String | 是 | 自建实例的主机地址。 | 192.168.***.*** |
Port | Integer | 是 | 自建实例的端口号。 | 4 |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
DBName | String | 是 | 数据库名称。 | test**** |
RegionSettings | RegionSetting | 否 | 实例所属地域。 | - |
在 SolutionType
取值为 Redis2Redis
时,即实例类型为 Redis 的源实例迁移至实例类型为 Redis 目标实例的参数配置,被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
ObjectMappings | Array of ObjectMapping | 是 | 源端和目标端对象的映射信息。详细信息,请参见ObjectMappings。 | - |
FullTransmissionSettings | 否 | 全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
| - | |
IncrTransmissionSettings | 否 | 通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
说明 当 | - | |
ErrorBehaviorSettings | 否 | 错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。 | - |
地域信息。被以下结构体引用:
ECSMySQLSettings
ECSPostgreSQLSettings
ECSMongoSettings
ECSElasticSearchSettings
ECSKafkaSettings
ECSRedisSettings
PublicMySQLSettings
PublicPostgreSQLSettings
PublicMongoSettings
PublicElasticSearchSettings
PublicRedisSettings
VolcMySQLSettings
VolcveDBMySQLSettings
VolcPostgreSQLSettings
VolcMongoSettings
VolcElasticSearchSettings
VolcKafkaSettings
VolcRocketMQSettings
VolcRedisSettings
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Region | String | 地域 ID。 | cn-beijing |
创建迁移、订阅或同步任务对象的配置信息。被以下接口引用:
CreateTransmissionTask
ModifyTransmissionTask
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
SolutionType | String | 是 | 任务类型。取值如下:
| MySQL2MySQL |
MySQL2MySQLSettings | MySQL2MySQLSettings | 否 | 在 SolutionType 取值为 MySQL2MySQL 时,实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例的参数配置,该参数必选。 | - |
MySQL2ESSettings | MySQL2ESSettings | 否 | 在 SolutionType 取值为 MySQL2ES 时,实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 的目标实例的参数配置,该参数必选。 | - |
MySQL2KafkaSettings | 否 | 在 | - | |
MySQL2RocketMQSettings | MySQL2RocketMQSettings | 否 | 在 SolutionType 取值为 MySQL2RocketMQ 时,实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。 | - |
PG2PGSettings | PG2PGSettings | 否 | 在 SolutionType 取值为 PG2PG 时,实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 的目标实例的参数配置,该参数必选。 | - |
PG2KafkaSettings | PG2KafkaSettings | 否 | 在 SolutionType 取值为 PG2Kafka 时,实例类型为 PostgreSQL 的源实例订阅到 Kafka 的参数配置,该参数必选。 | - |
PG2RocketMQSettings | PG2RocketMQSettings | 否 | 在 SolutionType 取值为 PG2RocketMQ 时,实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。 | - |
Mongo2MongoSettings | Mongo2MongoSettings | 否 | 在 SolutionType 取值为 Mongo2Mongo 时,实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 的目标实例的参数配置,该参数必选。 | - |
Redis2RedisSettings | Redis2RedisSettings | 否 | 在 SolutionType 取值为 Redis2Redis 时,实例类型为 Redis 的源实例迁移至实例类型为 Redis 的目标实例的参数配置,该参数必选。 | - |
任务标签列表信息。被以下接口引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
TaskId | String | 绑定了由 key、value 指定的标签的任务的 ID。 | 18064de5e9d345dc965ee45217****** |
Key | String | 与 TaskID 指定的任务绑定的标签的 key。 | key1 |
Value | String | 与 TaskID 指定的任务绑定的标签的 value。 | value1 |
当实例的接入方式为火山引擎 ECS 自建时,加密的详细信息。被以下结构体引用:
DataSource
ECSMySQLSettings
PublicMySQLSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
EnableSSL | Bool | 是 | 是否开启 SSL 加密连接方式。取值如下:
| false |
Cert | String | 否 | CA 证书内容。 说明 在 | -----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE----- |
消费组的详细信息。被以下接口引用:
DescribeSubscriptionGroup
DescribeSubscriptionGroups
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
GroupName | String | 消费组名称。 | 9863318d02ed4a6f88f14c03a2******:test**** |
UserName | String | 账号名称。 | test**** |
Description | String | 消费组的描述,帮助您辨识消费组的用途。 | 用于订阅到 Kafka。 |
CreateTime | Integer | 创建消费组的时间。单位:秒。 | 1679280623 |
UpdateTime | Integer | 消费组的更新时间。单位:秒。 | 1679280623 |
PartitionId | Integer | 分区 ID。 | 0 |
LogEndOffset | Integer | 最新的位点。 | 0 |
Offset | Integer | 当前消费位点。 | -1 |
DelaySeconds | Integer | 延迟时间。单位:秒。 | 0 |
消费的进度信息。被以下接口引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
Id | Integer | 分区 ID。 | 0 |
LogEndOffset | Integer | 最高位点数。 | 0 |
Offset | Integer | 当前消费位点。 | -1 |
订阅任务对象的配置信息。被以下结构体引用:
MySQL2KafkaSettings
MySQL2RocketMQSettings
PG2KafkaSettings
PG2RocketMQSettings
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Protocol | String | 是 | 数据订阅格式。取值如下:
说明 关于订阅格式的详细信息,请参见数据订阅格式。 | Volc |
PartitionPolicy | String | 是 | Topic 的 Partition 接收策略。取值如下:
说明 当 | P0 |
VPCId | String | 否 | 私有网络 ID。 | vpc-bp1opxu1zkhn00gz**** |
VPCSubnetId | String | 否 | 私有网络 ID 内的子网 ID。 说明 私有网络内的子网至少要包含 1 个可用 IP。 | AttachPoints.1.SubnetId=subnet-2fexiqjlgjif45oxruvso****&AttachPoints.2.SubnetId=subnet-7rtsu6whhle6j**** |
任务标签信息。被以下接口引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Key | String | 是 | 标签的键信息。配置规格如下:
| key1 |
Value | String | 否 | 标签的值信息。配置规格如下:
| value1 |
任务标签信息。被以下接口引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
Key | String | 是 | 用于查询筛选的标签键。
| key1 |
Value | String | 否 | 用于查询筛选的标签键所对应的标签值。
| value1 |
任务详细信息。被以下接口引用:
DescribeTransmissionTasks
DescribeTransmissionTaskInfo
ModifyTransmissionTask
参数 | 类型 | 示例值 | 描述 |
---|---|---|---|
TaskId | String | 任务 ID。 | 6f2fd63c0ea947b280877f5d2a******* |
TaskName | String | 任务名称。 | test**** |
TaskStatus | String | 任务状态,取值如下:
| Failed |
TaskType | String | 任务类型。取值如下:
| DataSubscription |
SrcConfig | DataSource | 源端信息。 | - |
DestConfig | DataSource | 目标端信息。 | - |
SolutionSettings | SolutionSetting | 迁移、订阅或同步任务对象的配置信息。 | - |
ChargeDetail | 计费信息。 | - | |
ChargeConfig | ChargeConfig | 计费配置。 | - |
TrafficSpec | String | 任务链路规格。支持 | Compact |
ProgressSummary | ProgressSummary | 传输任务总进度。 | - |
ErrorInfo | String | 任务报错信息。 | { |
CreateTime | Integer | 创建任务的时间。 | 1661242976288 |
StartTime | Integer | 任务开始时间,毫秒时间戳。 说明
| 1661242976288 |
EndTime | Integer | 任务结束时间,毫秒时间戳。 说明
| 0 |
ProjectName | String | 项目名称。 | default |
ParentTaskID | String | 主任务 ID。当开启双向同步时该 ID 是反向同步任务对应正向同步任务的 ID。 | 4f85ae2481a643d99c0f45444****** |
AddSyncObjectAllowed | Bool | 是否允许修改同步对象,取值如下:
| true |
EnableDataValidation | Bool | 是否启用数据校验,取值如下:
| true |
TaskSubType | String | 数据同步类型。取值如下:
| Default |
EnableCloudMonitor | Bool | 是否开启云监控,取值如下:
| true |
UpdateTime | Integer | 任务的更新时间,毫米时间戳。 | 1661242976290 |
SnapshotGtid | String | 全量一致性迁移配置。 | SnapshotGtid |
任务进度。被以下接口引用:
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
ProgressType | String | 任务类型。取值如下:
| Full |
Total | Integer | 任务的总数量。 | 10 |
AccountProgress | Array of AccountProgressItem | 用户迁移进度。详细信息,请参见 AccountProgressItem。 | - |
MetaProgress | Array of MetaProgressItem | 结构迁移、库表结构订阅或结构初始化任务进度。详细信息,请参见 MetaProgressItem。 | - |
FullProgress | Array of FullProgressItem | 全量迁移、全量订阅或全量初始化任务进度。详细信息,请参见 FullProgressItem。 | - |
IncrProgress | Array of IncrProgressItem | 增量迁移、增量订阅或增量同步任务进度。详细信息,请参见 IncrProgressItem。 | - |
参数 | 类型 | 描述 | 示例值 |
---|---|---|---|
ID | String | 数据校验任务 ID。 | db0e21b0e17c4c768527cd3d5b****** |
Name | String | 数据校验任务的名称。 | test**** |
Status | String | 任务状态,取值如下:
| Success |
Progress | Integer | 校验任务进度。 | 100 |
DiffCount | Integer | Diff 行数。 说明 最多支持返回 100 行 Diff。 | 0 |
EstimateCount | Integer | 预估总行数。 | 0 |
DiffRate | Integer | Diff 率。 | 0 |
CreateTime | Integer | 数据校验任务的创建时间。 | 1679291969803 |
EndTime | Integer | 数据校验任务的结束时间。 | 1679292034249 |
在 EndpointType
取值为 Volc_ElasticSearch
,即火山引擎版 ElasticSearch 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 说明 | 示例值 |
---|---|---|---|---|
DBInstanceId | String | 是 | 实例 ID。 说明
| ztuc43y38z4w**** |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
当创建数据订阅任务,需要将数据订阅到消息队列 Kafka 版,即 EndpointType
取值为 Volc_Kafka
时,目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
InstanceId | String | 是 | 实例 ID。 说明
| kafka-**** |
AuthType | String | 是 | 认证方式,默认取值 plain 。 | plain |
Username | String | 是 | Kafka 实例使用 PLAIN 模式的用户名称。 | test**** |
Password | String | 是 | Kafka 实例使用 PLAIN 模式的用户密码。 | test**** |
Topic | String | 是 | Kafka 的 Topic 名称。 | my_topic |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 Volc_Mongo
,即火山引擎版 MongoDB 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
DBInstanceId | String | 否 | 实例 ID。 说明
| mongo-replica-e405f8e2**** |
Username | String | 否 | 数据库账号。 | test**** |
Password | String | 否 | 数据库密码。 | test**** |
MongoAuthSourceDB | String | 否 | 账号校验数据库,在 | ReplicaSet |
DeployType | String | 否 | MongoDB 的实例类型。取值如下:
| ShardedCluster |
RegionSettings | RegionSetting | 否 | 实例所属地域。 | - |
在 EndpointType
取值为 Volc_MySQL
,即火山引擎版 MySQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
DBInstanceId | String | 是 | 实例 ID。 说明
| mysql-3d224def**** |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 Volc_PostgreSQL
,即火山引擎版 PostgreSQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
DBInstanceId | String | 是 | 实例 ID。 说明 在 | postgres-h441603c68aaa**** |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
DBName | String | 是 | 数据库名称。 | test**** |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 Volc_Redis
,即火山引擎版 Redis 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
DBInstanceId | String | 是 | 实例 ID。 说明
| redis-cn0212gzmh2xs**** |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
当创建数据订阅任务,需要将数据订阅到消息队列 RocketMQ 版,即 EndpointType
取值为 Volc_RocketMQ
时,目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
InstanceId | String | 是 | 实例 ID。 说明
| MQ_INST_***** |
AuthType | String | 是 | 认证方式,默认取值 plain 。 | plain |
Username | String | 是 | RocketMQ 实例的用户名称。 | test**** |
Password | String | 是 | RocketMQ 实例的用户密码。 | test**** |
Topic | String | 是 | RocketMQ 的 Topic 名称。 | my_topic |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |
在 EndpointType
取值为 Volc_veDB_MySQL
,即火山引擎版 veDB MySQL 时,源库或目标库的信息。被以下结构体引用:
参数 | 类型 | 是否必选 | 描述 | 示例值 |
---|---|---|---|---|
DBInstanceId | String | 是 | 实例 ID。 说明
| vedbm-r3xq0zdl**** |
DBInstanceName | String | 是 | 实例名称。 | TestveDB |
Username | String | 是 | 数据库账号。 | test**** |
Password | String | 是 | 数据库密码。 | test**** |
RegionSettings | RegionSetting | 是 | 实例所属地域。 | - |