云原生数据库原理
社区干货
VikingDB:大规模云原生向量数据库的前沿实践与应用
VikingDB 也逐渐契合云原生的理念,为孵化商业化向量数据库产品打下了坚实的基础。依托于 VikingDB 在字节内部积累的丰富经验,我们在火山引擎推出了 VikingDB 的商业化版本,以更好地对外部客户进行赋能。**应用:Retrieval-Augmented Generation**大语言模型在生成文本方面表现出色,但也存在一些限制,如知识局限性和幻觉问题。为了克服这些挑战,RAG(Retrival-Augmented Generation) 成为了当前业界最流行的解决方案。RAG 结合...
火山引擎新一代数据库的探索与实践
数据库的形态也随之发生了很大变化,各类数据库不断涌现。在基础设施全面云原生化的今天,火山引擎的云原生数据库如何面对数亿日活应用访问下超过 EB 级别的海量存储规模?对于更复杂的非结构化数据类型,火山引擎的... **《云原生数据库 veDB 核心技术剖析与展望》**张雷|火山引擎数据库技术负责人veDB 是一款分布式数据库,采用了云原生计算存储分离架构。本次演讲将为大家介绍火山引擎这款云原生数据库的核心技术原理,并对未...
火山引擎ByteHouse基于云原生架构的实时导入探索与实践
传统的商业数据库已经难以满足和响应快速增长的业务诉求。在此背景下,云原生数据库成为大势所趋。云原生数据库基于云平台构建、部署和分发,具有高可用性、高性能、高可靠等特点,可以帮助企业更好地实现数据智能化决... 它的作用是把用户的一个MySQL的数据库库同步到ClickHouse里来帮助用户做一些OLAP分析。物化MySQL的同步原理比较简单,当创建同步任务的时候,初始化阶段会把这个库里需要同步的表的数据全量拉取;当然,这里会有一个...
火山引擎ByteHouse:云原生数据库如何提升MySQL兼容性?
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群当前各类软件层出不穷,单独某一款软件往往难以满足企业应用需求,一般都需要与各类软件组合使用,这时软件生态兼容性就显得格外重要。作为关系数据库管理系统的代表之一,MySQL支持大多数操作系统、编程语言、程序语言,具备广泛的使用基础,其他数据类产品和工具对MySQL的兼容愈显重要。 作为源于字节跳动多年积累的云原生数据仓库,火山...
特惠活动
云原生数据库原理-优选内容
云原生数据库原理-相关内容
2023 年的“云原生的演化”|社区征文
云上生,云上长的 IT 架构就是云原生## 什么是云原生:Cloud Native是一个组合词, Cloud +Native的组合, 其中 Cloud中负责应用程序位于云环境中,而非传统的数据中心; Navite负责,在应用程序设计中就要考虑云环境; 云数据库,大数据服务,以及云上建立的众多产品服务等是否也可以成为云原生,云原生首先要生于云,运行在云上;## 云原生的主要说法:- 云原生指的是 容器、微服务、Devops 等技术的合集。 - 云原生是一种开发方...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** **近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。** 白皮书简述了 ByteHouse 基于 ClickHous... 需要融合来自多个业务系统数据库的业务数据,主要是交易记录,例如银行存取记录、用户订单记录等,通常是数千万至数亿条规模;用户行为日志是数据量最大的数据源,包括用户访问日志、用户操作记录等,这部分数据记录数量...
单日30PB量级!火山引擎ByteHouse云原生的数据导入这么做
传统的商业数据库已经难以满足和响应快速增长的业务诉求。在此背景下,云原生数据库成为大势所趋。云原生数据库基于云平台构建、部署和分发,具有高可用性、高性能、高可靠等特点,可以帮助企业更好地实现数据智能化决策。 火山引擎ByteHouse是基于开源ClickHouse进行技术优化和升级的一款云原生数据仓库。ClickHouse原有的分布式架构具有无中心多主节点以及存储方便的优势。但它也存在节点故障处理成本高、读写冲突、扩容成本...
火山引擎 Redis 云原生实践
**数据库**:Redis 支持持久化,可以把它当做 KV 数据库使用。- **消息队列**:Redis 支持 stream 数据,在 stream 数据结构基础上封装了 pub-sub 命令,实现了数据的发布和订阅,即提供了消息队列的基本功能。... 下面将介绍火山引擎 Redis 云原生实践。首先我们会明确 Redis 云原生的目标,主要有以下几个:- **资源的抽象和交付由 K8s 来完成,无需再关注具体机型**。在物理机时代我们需要根据不同机型上的 CPU 和内存配置来...
前端开发者眼中的数据加解密功能的实现原理 | 社区征文
那么本文就来分享一下作为前端开发人员眼中的云原生数据加解密的实现原理,如有不妥之处,请联系作者改正。### 二、行业背景最近几年,不管是互联网企业还是传统的行业,也不管是前端开发领域还是后端开发领域,有... 一个比较强大的数据库中间件提供了一套完整的透明化解决方案,实现了业务代码零入侵,安全、低风险地无缝进行加密改造。下面就来分享一下关于该中间件的实现原理之我见。### 四、实现原理#### **4.1**什么是彩虹...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(中)
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** 近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎... 为了降低对元数据库的访问压力,对于访问频度高的元数据会进行缓存。元数据服务自身只负责处理对元数据的请求,自身是无状态的,可以水平扩展。- **安全管理**权限控制和安全管理,包括入侵检测、用户角色管理...
火山引擎 Redis 云原生实践
点击上方👆蓝字关注我们! 本文整理自火山引擎开发者社区首次 Meetup 中的分享《Redis 云原生实践》,主要介绍了将 Redis 部署到 K8s 的抽象流程,以及火山引擎在 Redis 云原生方向的探索... 可以把它当做 KV 数据库使用。* **消息队列**:Redis 支持 stream 数据,在 stream 数据结构基础上封装了 pub-sub 命令,实现了数据的发布和订阅,即提供了消息队列的基本功能。Redis 协议是二进制安全的文本协议...
干货|4000字总结,Serverless在OLAP领域应用的五点思考
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5f3a31651d664f9495184bb8a4f6dcf3~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839647&x-signature=cUcIeNtdvd7DqmC9%2BiPbVs8PTx4%3D) 根据 Datadog发布的“2023年Serverless状态报告”, Serverless 使用量的大幅增长,已经成为主流。 Serverless和云原生数据库的结合可以提供更高效、可扩展、灵...
什么是云数据库 SQL Server 版
产品定义云数据库 SQL Server 版是火山引擎基于世界一流的商用型数据库产品 Microsoft SQL Server 打造的一种稳定、可靠、可弹性伸缩的在线数据库服务。SQL Server 实例采用云原生方式部署,通过结合极速型 SSD 云盘,提供了高性能读写能力。云数据库 SQL Server 版能够完全兼容微软生态下的各类应用,并提供实例管理、备份恢复、日志管理、监控告警、数据迁移等全套解决方案,帮助企业简化繁杂的数据库管理和运维任务,使企业有更多的...
