> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群> 字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方案在ToB场景中也存在诸多限制,所以**团队自研了轻量级** **异步** **消息处理框架,支持了字节内部和** **火山引擎** **上同步元数据的诉求。本文定义了需求场景,并详细介...
# 摘要字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方案在ToB场景中也存在诸多限制,所以团队自研了轻量级异步消息处理框架,很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景,并详细介绍框架的设计与实现。> 对应产品功能为**[DataLeap 大数据研发治理套件](https://www.volcengine.co...
**火山引擎数据中台产品双月刊**涵盖「大数据研发治理套件 DataLeap」「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。 ## **产品迭代一览** ### **大数据研
实现松耦合的异步通信。当事件发生时,相关组件可以根据需要采取适当的操作。这种架构具有高扩展性、松耦合性和适应性,特别适用于实时数据处理和事件驱动的场景。- 支持实时数据处理、流式计算、消息队列等场景。> 未来的后端服务架构将更加注重弹性、灵活性、智能化和安全性,以应对快速变化的业务需求和技术发展。* * *# 云原生化的微服务架构(未来软件架构)在探讨云原生化的微服务架构之前,让我们先来回顾一下沿着技...
调用 AssociateAllowList 接口将目标实例绑定到指定 IP 白名单中。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceIds Array of String 是 ["mongo-shard-011d2479****"] 需要绑定白名单的实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有 MongoDB 实例的基本信息,包括实例 ID。 支持一次传入多个实例 ID,多个 ID 间用英文逗号(,)分隔。 不支持同时传入多个实例 ID 和白名单,即...
调用 RestartDBInstance 接口重启目标 MongoDB 实例。 注意事项仅实例状态为运行中(即 Running)的实例支持重启操作。 实例重启过程中,部分服务的访问在短时间内会受到影响,请谨慎操作。 建议在业务低峰期执行重启操作,并确保应用具备自动重连机制。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceId String 是 mongo-replica-e405f8e2**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标...
调用 ResetDBAccount 接口重置 MongoDB 实例中指定账号的密码。 注意事项当前仅支持重置 root 账号的密码。 密码重置成功后,正在使用的连接不受影响。如需建立新连接来访问实例,请使用新密码。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceId String 是 mongo-replica-e405f8e2**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有 MongoDB 实例的基本信息,包括实例 ID。 ...
调用 CreateDBEndpoint 接口手动创建目标实例的连接地址。 请求类型异步请求。 注意事项当前仅支持通过接口创建实例或组件级别的连接地址。接口调用成功后,系统自动为该实例或组件下的所有节点(包括主节点和从节点)生成对应的连接地址。 MongoDB 实例类型不同,支持申请或释放的连接地址类型也��
调用 ModifyDBInstanceChargeType 接口修改目标实例的计费类型。 注意事项当前仅支持将按量计费(也称后付费)实例改为包年包月(也称预付费)实例。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceIds Array of String 是 ["mongo-replica-a1f25ba5****"] 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有 MongoDB 实例的基本信息,包括实例 ID。 支持同时传入多个实例 ID 批量转为...
调用 DeleteDBEndpoint 接口删除目标实例的连接地址。 注意事项私网地址释放成功后,Shard 或 ConfigServer 中所有节点(默认包含 3 个节点)的连接地址均会被释放,且无法继续通过该地址连接到该节点,请谨慎操作。 MongoDB 实例类型不同,支持申请或释放的连接地址类型也不同。更多信息,请参见连接地址类型。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceId String 是 mongo-shard-011d2479**** 实例 ID...
调用 ModifyDBInstanceParameters 接口修改指定实例的参数。 注意事项部分参数值修改后需要重启实例才能生效。实例重启会造成连接中断,建议在业务低峰期修改相关参数,并确保业务具备重连机制。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceId String 是 mongo-shard-9a554522**** 实例 ID。 说明 说明您可以调用 DescribeDBInstances 接口查询目标地域下所有 MongoDB 实例的基本信息,包括实例 ID。 ...
调用 CreateAllowList 接口创建一个新的 IP 白名单。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 AllowListName String 是 test 白名单名称,名称需同时满足如下要求: 不能以数字、中划线(-)开头。 只能包含中文、字母、数字、下划线(_)和中划线(-)。 长度需为 1~128 个字符。 AllowListDesc String 否 test 白名单的备注信息,长度不可超过 200 个字符。 AllowListType String 否 IPv4 白名单内的 IP 地址类...
调用 DeleteDBEndpointPublicAddress 接口删除指定实例的公网连接地址,即关闭公网访问功能。 请求类型异步请求。 请求参数名称 类型 是否必选 示例值 描述 InstanceId String 是 vedbm-ca12cbqv**** 实例 ID。 说明 您可以调用 DescribeDBInstances 接口查询目标地域下所有实例的基本信息,包括实例 ID。 EndpointId String 是 vedbm-h5u625wj****-Primary 实例连接终端 ID。 说明 您可以调用 DescribeDBInstanceDetail...