## 一、前言MongoDB 有三种集群架构模式,分别为**主从复制**(Master-Slaver)、**副本集**(Replica Set)和**分片**(Sharding)模式。 - Master-Slaver 是一种主从复制的模式,目前已经不推荐使用。 - Replica Se... `IOPS`超出单个`MongoDB`节点的服务能力,随着数据的增长,单机实例的瓶颈会越来越明显。 - 副本集具有节点数量限制。`垂直扩展`:增加更多的CPU和存储资源来扩展容量。 `水平扩展`:将数据集分布在多个服务器上...
# 问题描述在使用文档数据库 MongoDB 的时发现 CPU使用率很高,从业务角度来看,发现数据读写处理缓慢,我该如何排查此类问题?# 问题分析通常来说,导致 MongoDB CPU 使用率高有如下几点原因:* 查询语句不够优化,没有合理的索引。* 请求并发量大,当前业务负载和实例类型不匹配,即超出当前服务能力。* 有过重的计算任务。# 解决方案### 1. 查看当前正在运行的语句与 MySQL 中 `show full processlist` 语句功能类似,在 Mon...
# 目的对集合中的数据和索引进行碎片整理。释放磁盘空间,降低磁盘利用率。# 操作流程1. 连接到 Hidden 节点,执行 compact。2. 连接到 Secondary 节点,执行 compact。3. 待前两步做完之后,进行主备切换。4. 对当前的 Primary 执行 compact 命令。# Compact 命令影响&建议1. 回收磁盘碎片前,建议对数据库数据进行备份2. MongoDB 4.4 及之前的版本执行 compact 命令会导致集合所属的数据库被锁定,且该数据库的读写操作将...
新增 MongoDB 数据源,支持 Mongo to EMR hive 通道作业。 - 扩充 PG 数据同步能力,支持 PostgreSQL to EMR hive 通道作业。- **【优化** **数仓** **开发建表规范】** - 控制台智能市场优... 仍然可以通过 PHS 查看查询作业日志。 - 包年包月集群支持对集群退订,便于用户更加灵活的创建、退订集群。- **【更新** **EMR** **软件** **栈** **】** - **新增** **EMR** **软件** **栈** *...
介绍如何排查并定位 MongoDB 实例 CPU 使用率高的问题。 查看正在运行的语句您可以参考如下步骤查看数据库中正在运行的语句: 通过 Mongo Shell 工具连接实例。具体操作步骤,请参见通过 Mongo Shell 工具连接实例。... 分析执行计划MongoDB 提供了 explain() 命令来查看指定查询的查询计划统计信息,例如所用的索引、查询语句能否被索引覆盖、所扫描的索引项数量、所读取的文档数量、所返回的文档数量、执行查询所需的时间等信息。您...
本文汇总了文档数据库 MongoDB 版的账号配额、功能特性以及数量相关的约束和限制说明。 账号配额火山引擎平台对每个主账号中的每项服务都设置了默认配额。文档数据库 MongoDB 版服务相关配额限制如下表。 配额项 配... 标签数 标签总数量无限制,但每个 MongoDB 实例最多可绑定 50 个标签。 可批量回档的库表或实例数 一次最多选择 50 个实例进行批量回档。 单个实例一次最多选择 1000 张表进行回档。 .custom-md-table ...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MongoDB 同步至公网自建 MongoDB 任务。 前提条件已在公网环境中搭建文档数据库 MongoDB 版实例和账号。 按需设置源端信息,具体如下所示: 在使用 V... 任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置任务。 当您需要进行增量同步时,您需要完成以下配置: 开启 Oplog 日志,否则预检查阶段将提示报错,且无法启动同步任务。 在全量初始化期间,Oplog 日...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MongoDB 同步火山引擎版 MongoDB 任务。 前提条件已创建文档数据库 MongoDB 版实例和账号。详细操作,请参见创建实例和创建账号。 在源端部署在火山... 任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置任务。 当您需要进行增量同步时,您需要完成以下配置: 开启 Oplog 日志,否则预检查阶段将提示报错,且无法启动同步任务。 在全量初始化期间,Oplog 日...
MongoDB 实例。 请求类型异步请求。 请求参数参数 类型 是否必选 示例值 描述 ZoneId String 是 cn-beijing-a 实例所在可用区的 ID。 说明 您可以调用 DescribeAvailabilityZones 接口查看当前账号下所有可创建... NodeNumber Integer 否 3 节点数量,其中: 当实例类型为副本集(即 InstanceType 取值为 ReplicaSet)时,该参数表示副本集实例的计算节点数量。 当实例类型为分片集群(即 InstanceType 取值为 ShardedCluster)...
MongoDB CDC 连接器提供了从 MongoDB 数据库读取全量和增量数据的能力,仅用于做数据源表。 使用限制MongoDB CDC 连接器暂时仅支持在 Flink 1.16-volcano 引擎版本中使用。 MongoDB CDC 仅支持作为数据源表,MongoDB... MongoDB 每次返回的文档数量。 poll.max.batch.size 否 1024 Integer 每次拉取数据的最大数量。默认值 1024,表示在拉取间隔(默认 1000 ms)下最多能拉取 1024 条数据。 poll.await.time.ms 否 1000 Intege...
本文介绍如何在数据库传输服务 DTS 控制台创建公网自建 MongoDB 同步至火山引擎专有网络 MongoDB 任务。 前提条件已在公网环境中搭建文档数据库 MongoDB 版实例和账号。 当源端部署在 IDC 或 ECS 中,且通过公网连... 任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置任务。 当您需要进行增量同步时,您需要完成以下配置: 开启 Oplog 日志,否则预检查阶段将提示报错,且无法启动同步任务。 在全量初始化期间,Oplog 日...
您可以根据业务量变动,灵活变更 MongoDB 实例的配置,包括升降节点规格、增减节点数量或存储空间等。本文介绍 MongoDB 支持的变配方案。 变配方案不同类型的 MongoDB 实例支持的变配方案不同,具体详情见下表。 实例或组件类型 变配类型 变配说明 副本集实例变配 升配 支持升级节点规格。 支持增加存储空间。 不支持增加节点数量(副本集实例默认采用 3 节点高可用架构)。 说明 存储空间变更后,实例中每个节点的存储空间大小均会变...
本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎 ECS 自建 MongoDB 同步至火山引擎专有网络 MongoDB 任务。 前提条件在源端部署在火山引擎的 ECS 中通过私网连接,且开启了访问限制时,您需要在 ECS 的安全组规... 任务提交后会显示请求报错,此时建议您拆分待同步的集合,分批配置任务。 当您需要进行增量同步时,您需要完成以下配置: 开启 Oplog 日志,否则预检查阶段将提示报错,且无法启动同步任务。 在全量初始化期间,Oplog 日...