于2023年1月正式受邀成为 Apache Calcite PMC。 # 十个月,由初识到热爱 在过去几年,我主要是负责 Flink SQL 相关的工作。在不断深入参与到 Flink 的开发贡献的过程中,也逐步的了解到了背后的 Calcite。因为 Flink SQL 本身也是基于 Calcite 提供的核心能力进行构建的,可以把一些常见但是又复杂的事情交给底层的 Calcite 框架来做,比如 SQL 的解析、校验、优化等。由此,我开始逐渐接触到 Apache Calcite。我发现 Ap...
Apache Hudi在实时场景中广泛使用。但在应用过程中也存在同步执行、异步执行等问题。本文将从表服务管理角度,详细解读字节跳动基于Apache Hudi的优化方案和最佳实践。***关注字节跳动数据平台公众号,回复【0222】获... 底层存储由多个 file group 构成,有其特定的 file ID。File group 内的文件分为 base file 和 log file,其中 log file 记录对 base file 的修改,通过 compaction 合并成新的 base file,多个版本的 base file 会同时...
Apache HUDI 作为数据湖框架的一种开源实现,提供了事务、高效的更新和删除、高级索引、 流式集成、小文件合并、log文件合并优化和并发支持等多种能力,支持实时消费增量数据、离线批量更新数据,并且可通过 Spark、F... 底层存储由多个 file group 构成,有其特定的 file ID。File group 内的文件分为 base file 和 log file,其中 log file 记录对 base file 的修改,通过 compaction 合并成新的 base file,多个版本的 base file 会同时...
于2023年1月正式受邀成为 Apache Calcite PMC。 **十个月,由初识到热爱**在过去几年,我主要是负责 Flink SQL 相关的工作。在不断深入参与到 Flink 的开发贡献的过程中,也逐步的了解到了背后的 Calcite。因为 Flink SQL 本身也是基于 Calcite 提供的核心能力进行构建的,可以把一些常见但是又复杂的事情交给底层的 Calcite 框架来做,比如 SQL 的解析、校验、优化等。由此,我开始逐渐接触到 Apach...
本文会从以下几个方面来剖析 Apache EventMesh 云原生分布式事件驱动架构: - 什么是 EventMesh - 云原生生态下的事件驱动架构模型 - EventMesh 架构 - EventMesh 的相关特性以及应用场景 - 总结回顾 - 未来... EventMesh 可以接入的应用有很多:分布式应用、云原生应用和服务、IoT 设备、数据流、云合作伙伴以及其它的云厂商。通过标准的 CloudEvents 协议接入到 EventMesh,通过这种事件驱动的架构,可以提高应用的弹性伸缩能...
> Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。> 本文将讨论火山引擎EMR团队针对 Iceberg 组件的... 然后采用 Trino 或者 Spark 去做分析。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2ebeae31a9ce4ef0a6a130cd319fee42~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-...
Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。本文将讨论火山引擎EMR团队针对 Iceberg 组件的优化... 然后采用 Trino 或者 Spark 去做分析。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/d47689c10a2c4dc7b753cd92c929e4a2~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-e...
2023-11-09 全部地域 产品规格 2023年10月功能名称 功能描述 发布时间 发布地域 相关文档 批量创建 Group 支持通过上传配置文件的方式批量创建多个 Group,同时支持批量导出 Group 信息列表。 2023-10... 2023-06-05 全部地域 创建白名单 RocketMQ 版本 消息队列 RocketMQ版支持 Apache RocketMQ 4.x 系列版本,兼容 4.x 版本的全量功能。 2023-06-05 全部地域 创建实例 Topic 队列数 创建 Topic 或修改其队...
所以一份数据可以被多个引擎分析。相较于存算一体,成本 TCO 可以下降 30%-50%,并且 LAS 支持动态弹性扩缩容,可进一步降低用户成本。 ![picture.image](https://p3-volc-community-sign.byteimg.com/to... **Apache** **Hudi 仅支持单表的元数据管理,缺乏统一的全局视图,会存在数据孤岛。**Hudi 选择通过同步分区或者表信息到 Hive Metastore Server 的方式提供全局的元数据访问,但是两个系统之间的同步无法保证原子...
SCRAM-SHA-256sasl.mechanism=PLAINsasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="xxxx" password="xxxxx";org.apache.kafka.common.security.scram.ScramLogin... 但是可以被多个消费组消费多次。 consumer.auto.offset.reset 可选 earliest 当消费组没有合法的消费记录时,使用此配置对消费进度进行重置。例如:服务侧未找到消费组的消费记录或记录的消费进度已失效。 earli...
文章介绍了基于 Apache Calcite 的多引擎指标管理的技术原理与最佳实践,包括 **指标管理的常见方式、指标管理的最佳实践、指标管理的实现原理以及指标管理在字节跳动未来的一些规划** ,重点阐述了指标管理在业内常... 提升数据分析的开发效率。 **0****1** **指标管理的常见方式** 什么是 OLAP 当中的指标?从业务视角来看,从内容平台来讲常用的指标有用户活跃度、点赞数、评...
需要提供域名信息1. 根据代理机构提供的解析内容,一般是cname或者txt类型,到域名解析机构新增对应的解析1. 验证通过后,下载我们需要证书类型,包括nginx,apache,iis等1. 将证书部署到web站点虽然流程也是比较简单,但还是需要手动修改一些东西,对应到实际的公司环境,很可能还涉及到一些非技术层面的沟通工作,导致证书的部署流程并没有我们想想的那般顺畅。为了解决这个问题,或者说为了在一定程度上缓解这个问题,一般有以...
多域证书不支持同一域名下的子域。如果您需要使用一个多域证书来保护 www.example.com 和 example.com,那么,在获取证书时,应同时指定两个主机名。1. 统一通信证书 (UCC):统一通信证书 (UCC) 也被视为多域 SSL 证书。UCC 最初的设计意图是保护 Microsoft Exchange 和 Live Communications 服务器。如今,任何网站所有者都可以使用这些证书,以允许在一个证书上保护多个域名。UCC 证书经过组织验证,并在浏览器上显示挂锁。UCC 可以...