关系数据库索引研究
社区干货
字节跳动数据湖索引演进
这是默认的索引方案,基于布隆过滤器实现,索引信息存储在 Parquet 文件的 Footer 当中。② Hbase Index。索引信息存储在 Hbase 数据库上。③ Bucket Index。字节提出的一种基于哈希的实现,不需要额外存储索引信息,可... 另外一个规划的研究方向是 **Range Index**,字节希望能够借此提升点查和范围查询的效率。一种实现思路是对 Hudi 的 Base File 按照 Range Key 进行排序,然后存储每个文件的 Min/Max 值,可以基于前述的 Multi-Modal...
如何构建企业内的 TiDB 自运维体系
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 在优化器的稳定性虽然不如商用数据库那么可靠,偶尔也有走错索引的情况。一般只能通过修改 SQL、修改索引来解决,切记别用 force index 这种有坑的解决方案。但是总体来说我们遇到的 MySQL 走错索引的情况要远低于 T...
PostgreSQL 如何在线创建索引?
# 问题描述数据库创建索引可能会锁住创建索引的表,这样阻塞业务在生产中一般是不被允许的,那么 PostgreSQL 如何解决这个问题哪?# 问题分析PostgreSQL 在 CREATE INDEX 命令中新增CONCURRENTLY 选项来实现索引的并发创建# 验证方法1. 创建测试表并插 3000000 条 数据```sqlpostgres=# CREATE TABLE demo(id int);CREATE TABLEpostgres=# INSERT INTO demo SELECT generate_series(1,3000000);INSERT 0 3000000```...
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况下,数据一般采用一个一个的数据块进行存储,利用顺序读写提升性能。行存的实现一般是将一行数据完整的从头到尾连续存储(超长的字段一般会单独存储,行内记录逻辑地址),连续多行构成一个页,页的尾部通常会存储索引来解决...
特惠活动
关系数据库索引研究-优选内容
关系数据库索引研究-相关内容
字节跳动数据湖索引演进
这是默认的索引方案,基于布隆过滤器实现,索引信息存储在 Parquet 文件的 Footer 当中。② Hbase Index。索引信息存储在 Hbase 数据库上。③ Bucket Index。字节提出的一种基于哈希的实现,不需要额外存储索引信息,可... 另外一个规划的研究方向是 **Range Index**,字节希望能够借此提升点查和范围查询的效率。一种实现思路是对 Hudi 的 Base File 按照 Range Key 进行排序,然后存储每个文件的 Min/Max 值,可以基于前述的 Multi-Modal...
使用数据库访问工具访问企业级 SQL 分析节点
企业级 SQL 分析节点启用后,您可以通过一些数据库工具连接 SQL 分析节点,查看节点中的库表信息、查询分析实例中的索引数据。 注意事项目前 ES 6.7.1 版本实例暂不支持企业级 SQL 分析节点。 准备工作通过数据库工具连接 SQL 分析节点时,需要提前完成以下准备工作: 在本地安装需要的数据库工具。本文选择用 DBeaver、Navicat 这两款工具介绍如何连接并查询 SQL 分析节点数据。 如果需要使用公网连接 SQL 分析节点,需要提前开启公网...
create
概述 /index/create 接口用于为指定的数据集 Collection 创建索引 Index。创建索引可以加速向量的相似度搜索,它根据指定的索引算法和数据结构将向量库中的原始数据进行分组排序,提高相似度搜索的效率和准确性,是驱动向量数据库在短时间内筛选出候选的核心所在。 请求接口 说明 请求向量数据库 VikingDB 的 OpenAPI 接口时,需要构造签名进行鉴权,详细的 OpenAPI 签名调用方法请参见 API签名调用指南。 URI /api/index/create 统...
如何构建企业内的 TiDB 自运维体系
# 1 前言得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看... 在优化器的稳定性虽然不如商用数据库那么可靠,偶尔也有走错索引的情况。一般只能通过修改 SQL、修改索引来解决,切记别用 force index 这种有坑的解决方案。但是总体来说我们遇到的 MySQL 走错索引的情况要远低于 T...
PostgreSQL 如何在线创建索引?
# 问题描述数据库创建索引可能会锁住创建索引的表,这样阻塞业务在生产中一般是不被允许的,那么 PostgreSQL 如何解决这个问题哪?# 问题分析PostgreSQL 在 CREATE INDEX 命令中新增CONCURRENTLY 选项来实现索引的并发创建# 验证方法1. 创建测试表并插 3000000 条 数据```sqlpostgres=# CREATE TABLE demo(id int);CREATE TABLEpostgres=# INSERT INTO demo SELECT generate_series(1,3000000);INSERT 0 3000000```...
[数据库系统] 业界列式存储浅析
# 简介众所周知,在数据库存储引擎侧通常有两类存储模型,行式存储NSM(N-ary Storage Model)和列式存储DSM(Decomposition Storage Model),两种存储模型各有其特定的擅长场景。在以前,主流存储设备是机械磁盘的情况下,数据一般采用一个一个的数据块进行存储,利用顺序读写提升性能。行存的实现一般是将一行数据完整的从头到尾连续存储(超长的字段一般会单独存储,行内记录逻辑地址),连续多行构成一个页,页的尾部通常会存储索引来解决...
表管理
因此建议您不要在数据库工作台 DBW 做大表的结构或索引调整。 当列存在索引或外键设置时,无法对列进行修改。如需调整,请先删除索引或外键,再添加索引或外键。 删除表 表被删除后无法恢复。同时,在删除表的过程中... 通常用于维护数据库的引用完整性,特别是在主子表关系中。 SET NULL:表示如果主表中的行被删除,那么在子表中依赖于该行的外键都将被设置为 NULL。这是一种非严格的 ON DELETE 策略,允许删除主表的行而不删除子表的...
管理 Elasticsearch 索引
本文为您介绍如何查看并管理 Elasticsearch 索引的数据详情。 1 前提条件在搜索前,需要在数据地图 > 元数据采集页面新建采集器,将集群的元数据采集到数据地图。相关操作说明可参见元数据采集。 2 查看数据详情登录... 血缘关系、备注问答等功能信息。 右侧信息栏的数据表基本信息,包括基础信息、业务信息和技术信息。 3 管理表结构信息 3.1 明细信息登录 DataLeap 控制台。 选择概览 > 数据地图 > 数据检索,进入数据检索页面。 搜...
名词解释
数据集(Collection) Viking DB中的数据集(Collection)相当于关系数据库管理系统中的表。在Viking DB中,数据集是向量数据库原始数据的存储载体,通过创建数据集,将多个业务的向量数据存储到不同数据集中实现存储和管理的目的。 索引(Index) 索引(Index)是有效组织数据的过程,向量库中创建索引可以加速向量的相似度搜索,它根据指定的索引算法和数据结构将向量库中的原始数据进行分组排序,提高相似度搜索的效率和准确性,是驱动向量数...
