数据库的性能优化
社区干货
ByteHouse MaterializedMySQL 增强优化
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群**# 前言社区版 ClickHouse 推出了[MaterializedMySQL数据库引擎](https://xie.infoq.cn/link?target=https%3A%2F%2F... 降低了查询性能,又会对源端产生巨大的压力。ByteHouse 支持构建分布式模式的 MaterializedMySQL 库,将每个表都对应同步至 ByteHouse 的一个分布式表,数据不重复存储,能充分利用分布式集群的计算能力,又降低了对源...
最高提升10倍性能!揭秘火山引擎ByteHouse查询优化器实现方案
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 作为企业级数据库的核心组件之一,查询优化器的地位不可忽视。对于众多依赖数据分析的现代企业来说,一个强大且完善的查询优化器能够为数据管理和分析工作带来巨大的便利。 作为火山引擎推出的一款云原生数据库产品,ByteHouse以开源ClickHouse为基础,在字节跳动多年打磨下,致力于提供更丰富的能力和更强性能,为用户带来极速...
加速大模型落地:火山引擎向量数据库的实践应用
云原生的向量数据库是怎样的+ 不止 RAG——AIGC 时代的向量库应用+ AI 原生的能力推导+ 大规模云原生架构设计要点* 极端性能、规模、精度问题是怎么解决的+ 向量数据库的关键性能维度和极限案例+ 极致性能优化探索+ 极端规模场景的解决之道+ 精度:追逐相关性本质* 如何用好检索型向量数据库+ 从应用场景进行技术选择+ 真实业务场景的避坑指南**《解析云原生数仓 ByteHouse 如何构建高性能向量检索技术》**田...
基于国产化环境的金融级业务系统性能优化实践|社区征文
感谢这个平台能让自己有机会把最后一次的技术经验做分享,希望为同道中人提供参考,我分享的主题是基于国产化环境的金融级业务系统性能优化实践。# 一、项目背景项目是一个金融级的业务系统,架构是基于微服务设计理念的分布式架构,环境上支持国产化软硬件、操作系统以及分布式数据库,具有高性能、低成本、弹性扩展、敏捷交付等特点,有效解决传统架构的性能瓶颈。系统从应用架构上构建了完善的业务中台能力,真正做到系统解耦,支...
特惠活动
数据库的性能优化-优选内容
数据库的性能优化-相关内容
自建高性能数据库-选型与性能测试
优化查询和遍历。 欺诈检测、社交网络、推荐引擎、数据血缘、知识图谱 Neo4j、dgraph 时序数据库 高扩展性,适合增长迅速的数据,并监控数据的变化。 IoT 应用、工业遥测、DevOps、应用监控 influxDB、QuestDB、TimescaleDB 分类账 准确,透明,不可变更,可审计,高扩展性。 系统记录、供应链、注册、银行事务、HR及薪资系统、零售、保险、制造 Amazon QLDB, Alicloud LedgerDB 三、性能测试在确定数据库类型后,您可以采用性能测试的方...
基于国产化环境的金融级业务系统性能优化实践|社区征文
感谢这个平台能让自己有机会把最后一次的技术经验做分享,希望为同道中人提供参考,我分享的主题是基于国产化环境的金融级业务系统性能优化实践。# 一、项目背景项目是一个金融级的业务系统,架构是基于微服务设计理念的分布式架构,环境上支持国产化软硬件、操作系统以及分布式数据库,具有高性能、低成本、弹性扩展、敏捷交付等特点,有效解决传统架构的性能瓶颈。系统从应用架构上构建了完善的业务中台能力,真正做到系统解耦,支...
[数据库系统] 业界列式存储浅析
构建基于列存的优化器和执行器;1. 使用有重叠的projections 来提升性能和获取高可用;1. 使用snapshot isolation,避免2PC 和 query时加锁;### 数据模型C-Store 支持标准的关系型数据模型,一个数据库包含多张表,每张表包含多个attribute(column)。数据在C-Store里面不是根据逻辑数据类型进行物理存储的。反之大多数rowstore是直接存储物理表的,然后添加各种各样的index来加速访问,C-Store 只实现了 projections。一个 pr...
VikingDB:大规模云原生向量数据库的前沿实践与应用
VikingDB 在字节内部的应用向量数据库近来的火热来源于大语言模型的兴起,但在大模型兴起之前,VikingDB 已经在字节内部广泛应用,最初应用在推荐、广告、搜索的召回环节,后来逐步扩展到了消重、风控、对话、文档搜索等需要向量检索的其他场景。在内部推广应用的过程中,VikingDB 经历了非常多样的挑战:超大规模的数据、极致的延迟/性能要求、海量业务场景的接入支持等。为了克服这些困难,我们做了很多架构和性能的优化,以及产...
火山引擎ByteHouse:云原生数据库如何提升MySQL兼容性?
作为关系数据库管理系统的代表之一,MySQL支持大多数操作系统、编程语言、程序语言,具备广泛的使用基础,其他数据类产品和工具对MySQL的兼容愈显重要。 作为源于字节跳动多年积累的云原生数据仓库,火山引擎Byt... 才能适应ByteHouse查询引擎和优化器,带来人力成本、开发成本提升。 在本次升级中,ByteHouse 对 MySQL 数据类型、函数等均提供了完善的支持,避免用户反复进行查询改写,极大降低迁移成本。 举个例子来说...
干货 | 以一次Data Catalog架构升级为例,聊聊业务系统的性能优化
新版本的存储层基于Apache Atlas实现。迁移过程中,我们遇到了比较多的性能问题。 **本文以Data Catalog系统升级过程为例,与大家讨论业务系统性能优化方面的思考,也会介绍字节跳动关于Apache Atlas相关的性能优化。... 引入了字节内部的图数据库veGraph,写入时,需要业务层处理MySQL、ElasticSearch和veGraph三种存储,模型也需要同时理解关系型和图两种。更多的背景可以参照之前的[文章](https://mp.weixin.qq.com/s?__biz=MzkwMzMw...
使用SysBench测试MySQL应用性能
本文为您介绍使用SysBench工具测试云服务器MySQL应用性能的方法。 背景信息MySQL简介MySQL是一个关系型数据库管理系统(Relational Database Management System,RDBMS),使用最常用的结构式查询语言SQL进行数据库管理... 参考下表优化实例配置以获得最佳的 MySQL 应用性能体验。 优化项 具体配置 云盘分区 在进行云盘分区时,建议设置起始磁柱值 ≥ 2048,且为8的倍数。详细分区操作见分区格式化云盘。 说明 本文已通过步骤一将云盘成...
数据库小版本发布日志
缓存数据库 Redis 版会不定期发布代理(Proxy)节点和数据(Server)节点的小版本,来丰富产品功能或修复已知缺陷,提升使用体验。本文汇总了 Proxy 和 Server 小版本的更新说明供您参考。 背景信息代理节点代理节点(Pro... 功能优化 无。 缺陷修复 无。 proxy_version_1.15.0 2024-04-11 新增特性 无。 功能优化 优化了集群版 INFO 命令的返回结果,cluster_enabled 字段返回数据和社区版结果保持一致。 优化了 CLUSTER INFO 命令的返回...
干货|OLAP查询优化器:如何实现复杂查询和性能提升?
高阶优化、优化效果五个部分,拆解ByteHouse查询优化器如何实现复杂查询和性能提升。 文|ByteHouse团队 景鹏 作为企业级数据库的核心组件之一,查询优化器的地位不可忽...
