对数据库的需求和使用场景差异很大,可选择的数据库系统也是几十上百种,如此一组合下来,对于非数据库专业人士,选择复杂度非常高。本文的目的就是要尝试回答这个重要且复杂的问题。如果您计划将 IT 业务系统部署在火山引擎之上,可以参考本文的思路,选择合适的火山引擎云数据库服务,为业务应用打造坚实的数据库底座。**数据库发展与类型简介**数据库系统在上世纪 70 年代初出现,至今已经发展了半个多世纪,其理论、技术与...
对数据库的需求和使用场景差异很大,可选择的数据库系统也是几十上百种,如此一组合下来,对于非数据库专业人士,选择复杂度非常高。本文的目的就是要尝试回答这个重要且复杂的问题。如果您计划将IT业务系统部署在火山引擎之上,可以参考本文的思路,选择合适的火山引擎云数据库服务,为业务应用打造坚实的数据库底座。## 1.2、数据库发展与类型简介数据库系统在上世纪70年代初出现,至今已经发展了半个多世纪,其理论、技术与产品已...
> **火山引擎存储&数据库产品解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和企业实现业务成功。## 为什么要做数据库选型### 数据库选型的重要性与难点发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件,特别是基础软件,可以说基础软件是整个数字经济的坚实底座。在基础软...
VikingDB 也逐渐契合云原生的理念,为孵化商业化向量数据库产品打下了坚实的基础。依托于 VikingDB 在字节内部积累的丰富经验,我们在火山引擎推出了 VikingDB 的商业化版本,以更好地对外部客户进行赋能。**应用:... 上面几张图从索引算法、量化方式、索引参数以及硬件等维度表示了精度和延迟之间的取舍。最左侧第一张图相对比较了 FLAT、IVF、HNSW 这三种索引算法的计算精度和延迟。向量检索的计算和访存 IO 都非常重,为了提高...
允许数据在一段时间内不一致,但最终要达到一致。NoSQL 大致可以分为以下几类:- KV 类:以 Redis 为代表;- 文档型:以 MongoDB 为代表;- 列存:以 HBase 为代表;- 图、时序等新兴的数据库也都属于 NoSQL 范畴。... 从图数据库又引申出来一个非常大的概念——图计算。举个例子,在 Google 上搜索时,需要基于网页的链接关系计算每个页面的 page rank,从而对页面进行排序。页面的链接关系其实就是一张图,基于网页链接关系的 page ra...
作者:王佳毅|火山引擎存储&数据库解决方案负责人> 本文整理自火山引擎开发者社区技术大讲堂第三期演讲,主要为大家介绍了 NoSQL 的前世今生和发展脉搏,以及字节跳动 NoSQL 的实践。## NoSQL 应用的现状什么是... 从图数据库又引申出来一个非常大的概念——图计算。举个例子,在 Google 上搜索时,需要基于网页的链接关系计算每个页面的 page rank,从而对页面进行排序。页面的链接关系其实就是一张图,基于网页链接关系的 page ra...
Hudi不仅仅是数据湖的一种存储格式(Table Format),而是提供了Streaming 流式原语的、具备数据库、 数据仓库核心功能(高效upsert/deletes、索引、压缩优化)的数据湖平台。 - Hudi 支持各类计算、查询引擎(Fli... 另一方面,针对数据产品里要求秒级跳变的数据大屏、或者是嵌入到业务流程中的,对数据精准性要求高的事务型处理需求,则不适合近实时架构。6. ## **近实时架构方案演进**下面这张图展示的是数仓研发人员较为熟悉...
Logging**:特点是描述一些离散的(不连续的)事件。例如:应用通过一个滚动的文件输出 debug 或 error 信息,并通过日志收集系统,存储到 Elasticsearch 中;审批明细信息通过 Kafka,存储到数据库(BigTable)中;又或者,... “阿里云”等。 云原生技术包含了一组应用的模式,用于帮助企业快速,持续,可靠,规模化地交付业务软件。云原生由微服务架构,DevOps 和以容器为代表的敏捷基础架构组成。援引宋净超同学的一张图片来描述云原生所需...
允许数据在一段时间内不一致,但最终要达到一致。NoSQL 大致可以分为以下几类:* **KV 类**:以 Redis 为代表;* **文档型**:以 MongoDB 为代表;* **列存**:以 HBase 为代表;* **图、时序等新兴的数据库**... 从图数据库又引申出来一个非常大的概念——图计算。举个例子,在 Google 上搜索时,需要基于网页的链接关系计算每个页面的 page rank,从而对页面进行排序。页面的链接关系其实就是一张图,基于网页链接关系的 page ra...
## 分布式数据库架构简介![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9ca5ef2ef9af4cedb544547a86a09a3e~tplv-k3u1fbpfcp-5.jpeg?)相信对数据库感兴趣的同学对上面这张图也不会陌生。这张图是 DB Engines 的数据库排名,准确来说是一个关系型数据库的排名。在 2021 年 4 月份的榜单上,MySQL 和 PG 都是关系型数据库的 Top5。这就意味着,如果我们想做一款数据库产品,大概率永远都绕不过 MySQL 和 PG 的生...
血缘中涉及的元数据会冗余一份,并存储到图里。- 在血缘存储方面(见上图右边部分),除了图数据库之外,血缘本身也会依赖元数据的存储,如 Mysql 以及索引类存储。- 在血缘消费层面,第一版只支持通过 API 进行消... 并将第一个版本两张图融合成一张图,解决了无法通过表遍历字段血缘的问题。除此之外,第二个版本还**引入了任务类型节点**,服务于以下三种遍历场景:- **单纯遍历数据血缘**,即从数据节点到数据节点。- **数...
「云原生数据仓库 ByteHouse」「湖仓一体分析服务 LAS」「云原生开源大数据平台 E-MapReduce」四款数据中台产品的功能迭代、重点功能介绍、平台最新活动、技术干货文章等多个有趣、有料的模块内容。季度更新,您可... 应用场景:传统数据库集群中,数据明文保存在行存/列存文件中,集群的维护人员或者恶意攻击者可在 OS 层面绕过数据库的权限控制机制或者窃取磁盘直接访问用户数据。LAS 通过集成密钥管理 KMS,实现数据的透明加密,...
>2022年已经到了尾声,后半年度过的太漫长了,也是自己这两年来成长速度最快的一次了(后文揭晓)>[今年的年中总结链接](https://juejin.cn/post/7116152613409816612)上半年我沉浸在读各类技术书籍中,但是后半年的我几乎放弃了读书,转而投身到另外一个学习渠道上:>之前的年中和年终总结写的大体是参加了多少次活动,白嫖了多少礼品。但是这次我不想写平台的东西了(后半年的时间几乎很少花费在参与活动上面了,因为时间给了更...