配合K8s原生服务注册发现/配置中心/分布式调度中心/日志/监控/告警/链路追踪/DevOps等构筑完整应用体系;- 数据层:存储使用有云硬盘/对象存储/CFS,数据库有MongoDB分片集群/MySQL/Redis/ElasticSearch/RabbitMQ进行各类业务数据计算和存储## 三 流量管控![](https://kaliarch-bucket-1251990360.cos.ap-beijing.myqcloud.com/blog_img/20221214175313.png)### 3.1 南北流量业务流量:业务流量入口最外层经过WAF进行安全防...
**【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从 LAS to PostgreSQL 的集成同步。 - 新增 MongoDB 数据源,支持 Mongo to EMR hive 通道作业。 - 扩充 PG 数据同步能... 可以对集群节点规格实现 scale-up。### **湖仓一体分析服务 LAS**- **【新增Presto定时扩缩容功能】** - 队列中交互式分析(Presto)部分支持定时扩缩容。定时 Resize ,超过 Min 部分的费用使用 CU 时收...
广泛应用于以互联网业务为代表的场景。NoSQL 数据库又可以**细分为 KV 型 NoSQL 数据库(以 Redis 为代表)、文档型 NoSQL 数据库(以 MongoDB 为代表)、宽列型 NoSQL 数据库(以 HBase 为代表)、时序型 NoSQL 数据库(以 InfluxDB 为代表)以及图 NoSQL 数据库(以 Neo4j 为代表)**。虽然这些类型都属于 NoSQL 数据库范畴,但是不同类型的 NoSQL 数据库所适用的场景各有不同,需要根据业务特征选择合适的 NoSQL 数据库。其中 KV 型 NoS...
**【新增通道任务功能】** - 数据集成任务新增 PostgreSQL 数据源,支持从 LAS to PostgreSQL 的集成同步。 - 新增 MongoDB 数据源,支持 Mongo to EMR hive 通道作业。 - 扩充 PG 数据同步能... 可以对集群节点规格实现 scale-up。### **湖仓一体分析服务 LAS**- **【新增Presto定时扩缩容功能】** - 队列中交互式分析(Presto)部分支持定时扩缩容。定时 Resize ,超过 Min 部分的费用使用 CU 时收...
本文介绍如何通过 compact 命令回收 MongoDB 分片集群实例的磁盘碎片,减少磁盘使用压力,提高利用率。 背景信息文档数据库 MongoDB 版实例在删除数据时,不会直接回收被删除数据的磁盘空间(这些空间会被标记为空闲),后续新写入的数据不会占用新的磁盘空间,而是重用之前空闲的磁盘空间,那些未被使用的空闲存储空间则被称作磁盘碎片。随着删除的操作增多,碎片也会越来越多,磁盘碎片越多表明磁盘利用率越低。Compact 命令可用于重写和...
在使用文档数据库 MongoDB 版的过程中,若存在查询语句不够优化(如未设置合理索引)、请求并发量大、计算任务过重等情况时,可能会使数实例 CPU 使用率变高,从而导致数据读写变慢、超时增加等问题,甚至严重影响业务的正常运行。本文从查询语句、慢日志、执行计划等方面,介绍如何排查并定位 MongoDB 实例 CPU 使用率高的问题。 查看正在运行的语句您可以参考如下步骤查看数据库中正在运行的语句: 通过 Mongo Shell 工具连接实例。具体...
本文汇总了文档数据库 MongoDB 版功能特性的常见问题。 文档数据库 MongoDB 版是否支持多文档事务功能?支持。文档数据库 MongoDB 版当前提供了 MongoDB 4.0 和 5.0 版本,所支持的多文档事务功能与官方 MongoDB 的多... 系统会使用隐藏节点替换故障节点继续提供服务,并对故障节点进行检查与修复。该过程对应用完全透明,可能会产生 1 次 30 秒内的连接闪断,建议您在应用程序中添加重连机制的设计。 Mongos 组件采用双节点架构,当某个 ...
本文介绍以 YCSB 压测工具测试文档数据库 MongoDB 版实例性能的详细方法和测试结果,您可以按照本文介绍自行测试对比,快速了解数据库系统的性能。 测试环境测试所用的 ECS 实例和文档数据库 MongoDB 版实例均在同一地域、同一可用区。本测试中为华北 2(北京)可用区 A。 网络类型均为私有网络 VPC,且 ECS 实例和 MongoDB 实例均在同一个 VPC 中。 测试所用文档数据库 MongoDB 版实例: 各规格的副本集实例。关于 MongoDB 实例规格...
DataSail 数据集成中的 MongoDB 数据源为您提供读取和写入 MongoDB 的双向通道数据集成能力,实现不同数据源与 MongoDB 之间进行数据传输。下文为您介绍 MongoDB 数据同步的能力支持情况。 1 支持的版本MongoDB 使用的驱动版本是 mongo-java-driver 3.11.0,该驱动支持的内核版本为 3.X 版本。驱动能力详情请参见MongoDB官方文档。 2 支持的字段类型MongoDB 读写支持的字段类型: 类型 离线写入 离线读取 OBJECTID 支持 支持 ...
您可以在控制台上为 MongoDB 实例申请公网地址,以便 VPC 外的设备来访问 MongoDB 实例。本文介绍如何申请 MongoDB 实例的公网地址。 前提条件申请公网地址时需要绑定弹性公网 IP(EIP)。您需要先申请公网 IP,具体操作步骤,请参见申请公网 IP。 针对分片集群的 MongoDB 实例,在为 Shard 或 ConfigServer 节点申请公网地址前,您需要先申请对应节点的私网地址。具体操作步骤,请参见申请私网地址。 若使用子账号来申请公网地址,需要先...
MongoDB CDC 连接器提供了从 MongoDB 数据库读取全量和增量数据的能力,仅用于做数据源表。 使用限制MongoDB CDC 连接器暂时仅支持在 Flink 1.16-volcano 引擎版本中使用。 MongoDB CDC 仅支持作为数据源表,MongoDB CDC 支持 3.6、4.X、5.0 版本。 DDL 定义SQL CREATE TABLE products ( _id bigint, order_id bigint, order_product_id bigint, order_customer_id bigint, order_status varchar, order_update...
文档数据库 MongoDB 版支持在新建实例或恢复到新实例时,选择多可用区部署方式。相比单可用区部署方式,多可用区部署具备更高的容灾能力,可以抵御机房级别的故障。本文介绍 MongoDB 的可用区的部署方式。 可用区部署方式文档数据库 MongoDB 版通过多可用区部署方式实现了同城容灾,实例类型不同,节点部署策略也不同。 副本集实例部署方式 节点部署策略 多可用区部署 副本集实例为三副本架构,默认包含三个节点,这三个节点会分别部署在...
您可以在控制台上为 MongoDB 实例申请公网地址,以便 VPC 外的设备来访问 MongoDB 实例。本文介绍如何申请 MongoDB 实例的公网地址。 前提条件申请公网地址时需要绑定弹性公网 IP(EIP)。您需要先申请公网 IP,具体操作步骤,请参见申请公网 IP。 针对分片集群的 MongoDB 实例,在为 Shard 或 ConfigServer 节点申请公网地址前,您需要先申请对应节点的私网地址。具体操作步骤,请参见申请私网地址。 若使用子账号来申请公网地址,需要先...