LAS SQL 任务支持对接 LAS Spark STS 模式,降低作业执行时冷启动的时间成本。 - 提交 LAS SQL 任务新增队列水位校验,预览队列及服务资源使用情况,以便适配更合适的资源。 - 资源组策略调整,支... ### **云原生数据仓库ByteHouse**- **【新增ByteHouse云数仓版功能】** - ByteHouse 云数仓开通 AWS us-east-1 美东地域,助力国内出海企业更好的发展业务。 - 支持 Lambda 和 Python UDF,允许用户...
没有查询优化器的数据库是不完整的。相对 OLTP 而言在OLAP领域中更是如此;对于分析类场景,查询更为复杂,计划好坏的差异更大。一个优秀的查询优化器可以防止用户写出不好的SQL导致执行速度慢,能够准确的选择出一条效... 根据优化规则对关系表达式进行转换,这里的转换是说一个关系表达式经过优化规则后会变成另外一个关系表达式,同时原有表达式会被裁剪掉,经过一系列转换后生成最终的执行计划。RBO中包含了一套有着严格顺序的优化规则...
LAS SQL 任务支持对接 LAS Spark STS 模式,降低作业执行时冷启动的时间成本。 - 提交 LAS SQL 任务新增队列水位校验,预览队列及服务资源使用情况,以便适配更合适的资源。 - 资源组策略调整,支... ### **云原生数据仓库ByteHouse**- **【新增ByteHouse云数仓版功能】** - ByteHouse 云数仓开通 AWS us-east-1 美东地域,助力国内出海企业更好的发展业务。 - 支持 Lambda 和 Python UDF,允许用户...
ANSI-SQL:SQL 兼容性全面提升,支持 ANSI-SQL 2011 标准,TPC-DS 测试集 100%通过率。- UDF:支持 Python UDF/UDAF 创建与管理,补足函数的可扩展性。(Java UDF/UDAF 已在开发中)- 自研优化器:自研 Cost-Bas... 政务云和金融云是两大主要的行业云,平台建设水平较高,同时制造业、医疗卫生、交通等领域的行业云也在加速变革和加快建设行业云平台大规模建设和升级,实现数字化管理和运营。 制造业设备上云和云化改造能够实...
没有查询优化器的数据库是不完整的。相对 OLTP 而言在OLAP领域中更是如此;对于分析类场景,查询更为复杂,计划好坏的差异更大。一个优秀的查询优化器可以防止用户写出不好的SQL导致执行速度慢,能够准确的选择出一条效... 根据优化规则对关系表达式进行转换,这里的转换是说一个关系表达式经过优化规则后会变成另外一个关系表达式,同时原有表达式会被裁剪掉,经过一系列转换后生成最终的执行计划。RBO中包含了一套有着严格顺序的优化规则...
LAS SQL 任务支持对接 LAS Spark STS 模式,降低作业执行时冷启动的时间成本。 - 提交 LAS SQL 任务新增队列水位校验,预览队列及服务资源使用情况,以便适配更合适的资源。 - 资源组策略调整,支... ### **云原生数据仓库ByteHouse**- **【新增ByteHouse云数仓版功能】** - ByteHouse 云数仓开通 AWS us-east-1 美东地域,助力国内出海企业更好的发展业务。 - 支持 Lambda 和 Python UDF,允许用户...
ANSI-SQL:SQL 兼容性全面提升,支持 ANSI-SQL 2011 标准,TPC-DS 测试集 100%通过率。- UDF:支持 Python UDF/UDAF 创建与管理,补足函数的可扩展性。(Java UDF/UDAF 已在开发中)- 自研优化器:自研 Cost-Bas... 政务云和金融云是两大主要的行业云,平台建设水平较高,同时制造业、医疗卫生、交通等领域的行业云也在加速变革和加快建设行业云平台大规模建设和升级,实现数字化管理和运营。 制造业设备上云和云化改造能够实...
新增云原生 veDB MySQL 数据源,支持 veDB MySQL_to_LAS 通道作业。 - 新增 CloudFS 离线并优化读取能力,支持 CFS_to_LAS 通道作业。- **【新增开发规范及流水管理】** - 智能市场新增建表... 说明文档链接:https://www.volcengine.com/docs/6464/164704### **湖仓一体分析服务 LAS**- **【新增TTL自动管理及删除数据】** - 支持配置 TTL,对于超过保留期(创建时间 > y 天)的冷数据进行自动删除...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/165b59dcc0584bacb1c5c3d126b431f8~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714926051&x-signature=rPgnR3ocDLgzLO%2BgwoC16IuIjdA%3D)但随着业务的发展,SQL 中相应的 case when 片段需要不断被修改,业界针对频繁的变化也有如下常见解决方案:* 按需新增,手动通知下游修改(费时费力、容易遗漏);* 使用 UDF(变更发布成...
JDBC Adapter、通用的表达式优化等。于2023年1月正式受邀成为 Apache Calcite PMC。 # 十个月,由初识到热爱 在过去几年,我主要是负责 Flink SQL 相关的工作。在不断深入参与到 Flink 的开发贡献的过程... 可以把一些常见但是又复杂的事情交给底层的 Calcite 框架来做,比如 SQL 的解析、校验、优化等。由此,我开始逐渐接触到 Apache Calcite。我发现 Apache Calcite 属于比较典型的 “纯技术社区”,也就是没有商业化相...
LAS SQL 任务支持对接 LAS Spark STS 模式,降低作业执行时冷启动的时间成本。 - 提交 LAS SQL 任务新增队列水位校验,预览队列及服务资源使用情况,以便适配更合适的资源。 - 资源组策略调整,支... **【新增ByteHouse云数仓版功能】** - ByteHouse 云数仓开通 AWS us-east-1 美东地域,助力国内出海企业更好的发展业务。 - 支持 Lambda 和 Python UDF,允许用户自定义函数,精简 SQL 语句,提升查询...
表达式简化、子查询解关联、谓词下推、冗余算子消除、Outer-Join 转 Inner-Join、算子下推存储、分布式算子拆分等常见的启发式优化能力。- 相对社区版ClickHouse,ByteHouse实现了完整的解关联,从而确保tpcds所有查询能够运行。如下图所示,一个customer表和一个含orders表的子查询进行关联,最后的计划会展开成对应的join、agg和filter等算子。- 另外,针对非等值join,相对于先outer join后再执行非等值过滤这种组合,非等值j...
火山引擎DataLeap流批数据质量解决方案有 4 个大的功能:- **离线数据质量监控**:解决批和微批监控场景,支持 Hive、ClickHouse、ES 等多种数据源,并有字段、唯一性等多种监控维度,允许通过 SQL 自定义维度聚合进行监控。- **流式数据质量监控**:解决流式监控场景,支持 Kafka/BMQ 等数据源。- **数据探查**:解决数据开发之前对数据内容存疑问题,支持 Hive 数据源。- **数据对比**:解决新旧表数据一致性问题,支持 Hive...