在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大,本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中遇到的问题和思考。Elasticsearch 是一种分布式的、近实时的海量数据存储、检索与分析引擎。我们常说的“ELK”就是指 Elasticsearch、Logstash / Beats、Kibana 组成的具备收集、存储、检索和可视化的数据系统。ES 在类似数据系统中发挥着数据存储与索引、数据检索...
# 前言在搜索场景中,我们建议单个分片的大小为 20 GB,在日志记录场景中,建议值为 50 GB。过多的分片会带来集群管理负担,如果索引保存的数据量较小,我们建议您缩小主分片数,重新设定合理的主分片数。与 _split API 相反,Elasticsearch 提供了 _shrink API 来缩小主分片数。关于 _split API,您可以参考[1]。# 使用限制1. 索引必须为只读状态2. 所有的分片必须在同一个节点上3. 索引的健康状态必须为 **green**# 操作步骤...
# 前言索引容量管理一直都是 Elasticsearch 集群管理中重要的部分,当索引数据量越来越大,引发性能问题的概率就越大,未来纠错的难度就越大。通常来说,考虑索引大小应该与业务结合,如,在搜索场景中,我们建议单个分片的大小为 20 GB,在日志记录场景中,建议值为 50 GB。使用 Elasticsearch 集群出现索引分片设置不合理而影响时,我们可以使用 ES 中的 _split API 来扩大主分片数,也就是说,将一个现有的索引拆分为具有更多主分片的索...
# 问题描述我的 Elasticsearch 集群目前处于黄色状态,我该如何排查并解决此问题?# 问题分析黄色集群状态意味着所有索引的主分片已经分配成功,但是至少有一个索引的副本分片未分配成功。最常见的一种场景是我们有一个三节点的集群,同时我们设置了副本数为三,此时集群会出现黄色状态,因为在Elasticsearch 中,主分片和副本分片不能同时存在于一个节点上。示例如下:```jsonPUT mytest{ "settings":{ "number_of_shards":3, ...
# 前言在搜索场景中,我们建议单个分片的大小为 20 GB,在日志记录场景中,建议值为 50 GB。过多的分片会带来集群管理负担,如果索引保存的数据量较小,我们建议您缩小主分片数,重新设定合理的主分片数。与 _split API 相反,Elasticsearch 提供了 _shrink API 来缩小主分片数。关于 _split API,您可以参考[1]。# 使用限制1. 索引必须为只读状态2. 所有的分片必须在同一个节点上3. 索引的健康状态必须为 **green**# 操作步骤...
# 前言索引容量管理一直都是 Elasticsearch 集群管理中重要的部分,当索引数据量越来越大,引发性能问题的概率就越大,未来纠错的难度就越大。通常来说,考虑索引大小应该与业务结合,如,在搜索场景中,我们建议单个分片的大小为 20 GB,在日志记录场景中,建议值为 50 GB。使用 Elasticsearch 集群出现索引分片设置不合理而影响时,我们可以使用 ES 中的 _split API 来扩大主分片数,也就是说,将一个现有的索引拆分为具有更多主分片的索...
本页面用于为指定的数据集创建索引,创建索引可以加速向量的相似度搜索,它根据指定的索引算法和数据结构将向量库中的原始数据进行分组排序,提高相似度搜索的效率和准确性,是驱动向量数据库在短时间内筛选出候选的核... 该索引会被限流,格式为正整数。必填。 索引分片数 分片数最大不超过256,默认为1,分片数预估参考:数据预估数据量/3000万。 索引算法 索引算法,默认HNSW,枚举值:HNSW、HNSW-Hybrid、FLAT、IVF、DiskANN。必选。 ...
本页面用于为指定的数据集创建索引,创建索引可以加速向量的相似度搜索,它根据指定的索引算法和数据结构将向量库中的原始数据进行分组排序,提高相似度搜索的效率和准确性,是驱动向量数据库在短时间内筛选出候选的核... 该索引会被限流,格式为正整数。必填。 索引分片数 分片数最大不超过256,默认为1,分片数预估参考:数据预估数据量/3000万。 索引算法 索引算法,默认HNSW,枚举值:HNSW、HNSW-Hybrid、FLAT、IVF、DiskANN。必选。 ...
2024.04.12 更新类型 功能描述 产品截图说明 新功能 向量数据库新增向量化模型(多功能版)和 pipeline,支持 8k tokens 窗口长度和多语言、跨语言检索功能。 向量数据库提供混合检索能力,在使用稠密向量进行语义... 2024.03.11 更新类型 功能描述 产品截图说明 新功能 索引创建/编辑支持自定义索引分片数 2024.03.01 更新类型 功能描述 产品截图说明 新功能 新增知识库,可通过向量库左侧导航进入,详细说明可查看...
分片集群实例的磁盘碎片,减少磁盘使用压力,提高利用率。 背景信息文档数据库 MongoDB 版实例在删除数据时,不会直接回收被删除数据的磁盘空间(这些空间会被标记为空闲),后续新写入的数据不会占用新的磁盘空间,而是重用之前空闲的磁盘空间,那些未被使用的空闲存储空间则被称作磁盘碎片。随着删除的操作增多,碎片也会越来越多,磁盘碎片越多表明磁盘利用率越低。Compact 命令可用于重写和整理 MongoDB 集合中所有的数据和索引,通过回...
概述 /index/info 接口用于查询索引 Index 详情。 请求接口 说明 请求向量数据库 VikingDB 的 OpenAPI 接口时,需要构造签名进行鉴权,详细的 OpenAPI 签名调用方法请参见 API签名调用指南。 URI /api/index/info ... index_name string 显示创建的索引 Index 名称。 cpu_quota int 显示索引线上检索消耗的 CPU 配额。 description string 显示索引的自定义描述。 shard_count int 分片数。索引分片是指在大规...
概述 /index/info 接口用于查询索引 Index 详情。 请求接口 说明 请求向量数据库 VikingDB 的 OpenAPI 接口时,需要构造签名进行鉴权,详细的 OpenAPI 签名调用方法请参见 API签名调用指南。 URI /api/index/info ... index_name string 显示创建的索引 Index 名称。 cpu_quota int 显示索引线上检索消耗的 CPU 配额。 description string 显示索引的自定义描述。 shard_count int 分片数。索引分片是指在大规...
本文汇总了文档数据库 MongoDB 版的常见问题。 实例管理文档数据库 MongoDB 版和 MongoDB 有什么关系? 文档数据库 MongoDB 版提供何种实例规格 在同一账号的同一地域下,是否支持设置同名的实例? 最多支持创建多少个文档数据库 MongoDB 版实例? 文档数据库 MongoDB 版是否支持添加或减少节点或分片? 文档数据库 MongoDB 版支持哪些数据库版本? 如何查看 MongoDB 实例使用的数据库版本? 如何将 MongoDB 4.0 版本升级到 MongoDB 5.0...