E-MapReduce
E-MapReduce
文档指南
请输入
- 文档首页
E-MapReduce产品动态与公告产品动态EMR Serverless 实例内核发布记录
EMR Serverless 实例内核发布记录
文档反馈
问问助手StarRocks
3.3.11
发布日期：2025 年 4 月 24 日
新增功能
- 窗口函数支持
max_by和min_by。#54961
功能优化
- 使用
Files函数导出数据时，支持向 Parquet 文件导出 JSON 数据类型。#56406 - 提升存算分离集群中云原生表 Data Cache 预热性能。#56190
- Trino 语法兼容 AT TIME ZONE 表达式和
from_iso8601_timestamp函数。#56311 #55573 - 存算分离集群中主键表的部分列更新支持条件更新。#56132
- 进一步支持所有类型语句的统计信息收集。#56257
SHOW PROC '/transaction'语句支持配置返回的最大行数。#55933- 支持基于 Oracle 类型 JDBC Catalog 表上创建异步物化视图。#55372
- BE 的 WebUI 上 MemTracker 支持 25 行分页。#56206
- 支持复杂类型的子列在表函数中下推。#55425
- 支持 MariaDB 客户端的 LDAP 用户登陆。#55720
- Paimon 版本升级到 1.0.1。#54796 #55760
- 查询执行过程中消除非必要的
unnest计算，降低开销。#55431 - 跨集群同步过程中存算分离源集群支持开启 Compaction。#54787
- 当 DECIMAL 类型的除法这类代价较高出现在在 topN 计算之下时，将其提前至 topN 之上降低开销。#55417
- 基于 ARM 架构的性能提升。#55072 #55510
- 基于 Hive 外表的物化视图，如基表删除重建，刷新时会检查实际的分区更新而非全表重刷。#45118
- DELETE 操作支持分区裁剪。#55400
- 优化内表统计信息收集的优先级策略，以优化在表数量较多时的效率。#55446
- 导入任务涉及多个分区时，合并记录 Transaction Log 以提高导入性能。#55143
- 优化 Translate SQL 的报错信息。#55327
- 增加 Session 变量
parallel_merge_late_materialization_mode控制并行合并行为。#55082 - 优化生成列的报错信息。#54949
- 优化 SHOW MATERIALIZED VIEWS 命令的性能。#54374
问题修复
- FE 不支持将常量 TIME 数据类型 Cast 成 DATETIME 导致的问题。#55804
- Stream Load 事务接口不支持
starrocks_fe_table_load_rows和starrocks_fe_table_load_bytes两个指标导致的问题。#44991 - 更改自动统计信息收集的方式不生效。#56173
- 物化视图状态异常时导致
SHOW MATERIALIZED VIEWS出现问题。#55995 - 基于文本的物化视图改写在不同数据库下不生效的问题。#56001
- JDBC Catalog 元数据兼容性问题。#55993
- JDBC Catalog 处理 JSON 类型数据的问题。#56008
- Schema Change 时 Sort Key 设置错误的问题。#55902
- Broker Load 敏感信息泄露的问题。#55358
- CTE 优先下推 LIMIT 再下推谓词导致的错误。#55768
- Stream Load 因表 Schema Change 导致的错误。#55773
- DELETE 语句的执行计划包含 SELECT 导致的权限问题。#55695
- CN 下线时未停止 Compaction 任务导致的问题。#55503
- Follower FE 节点无法获取更新的导入信息。#55758
- 落盘路径容量统计错误。#55703
- 因缺少足够分区检查导致 List 分区的物化视图创建失败。#55673
- ALTER TABLE 因缺少元数据锁导致的问题。#55605
- SHOW CREATE TABLE 因 constraints 导致的错误。#55592
- Nestloop Join 因大 ARRAY 导致的 OOM。#55603
- DROP PARTITION 的锁问题。#55549
- min/max 窗口函数因未支持字符串类型导致的问题。#55537
- Parser 性能回退问题。#54830
- 部分更新时列名大小写敏感问题。#55442
- Stream Load 调度到 Alive 状态为 false 的节点时，导入失败。#55371
- 物化视图包含 ORDER BY，但输出列顺序错误。#55355
- 磁盘故障导致 BE Crash。#55042
- Query Cache 导致的结果错误。#55287
- Parquet Writer 写入包含时区的 TIMESTAMP 类型时未能进行时区转换的问题。#55194
- 因 ALTER 任务超时而导致导入任务卡住。#55207
date_format函数输入毫秒时间类型导致的错误。#54854- 分区键为 DATE 类型导致的物化视图改写失败。#54804
行为变更
- FE 的
query_detail接口增加认证环节。#55919 - Iceberg 中 UUID 类型的映射更改为 BINARY。#54978
- 使用分区变更的行数而非分区可见时间来判断是否需要重新收集统计信息。#55373
3.3.3（已下线）
发布日期：2024 年 8 月 16 日
新增功能
- 在存算分离版本中，支持多仓（Multi-Warehouse）。
- 支持设置用户级别变量。#48477
- 支持了 Delta Lake Catalog 的元数据缓存、元数据手动刷新以及周期性刷新策略。#46526 #49069
- 支持导入 Parquet 文件的 JSON 类型。#49385
- JDBC SQL Server Catalog 支持 LIMIT 查询。#48248
- 存算分离集群支持通过 INSERT INTO 执行部分列更新。#49336
功能优化
- 优化导入报错信息：
- 优化导入时的分区机制，降低初始阶段的内存占用。#47976
- 优化存算一体集群的内存占用问题。增加元数据内存占用限制，避免在 Tablet、Segment 文件过多时可能引发的问题。#49170
- 优化了
max(partition_column)的查询性能。#49391 - 如果分区列是生成列（即基于表中某个原生列计算所得），且查询的谓词过滤条件包含原生列，则可以使用分区裁剪优化查询性能。 #48692
- 对 Files()、PIPE 相关操作中的敏感信息进行脱敏。#47629
- 提供新的命令
SHOW PROC '/global_current_queries'，用以查看在所有 FE 节点上运行的查询。而相对应的命令SHOW PROC '/current_queries'只能查看当前连接的 FE 节点上运行的查询。#49826
问题修复
- 在通过 StarRocks 外表将数据导出至目标集群时，系统将源集群 BE 误添加到当前集群。#49323
- aarch64 类机器上部署的 StarRocks 集群在通过
select * from files读取 ORC 文件时，TINYINT 数据类型返回 NULL。#49517 - Stream Load 导入包含大 Integer 类型的 JSON 格式文件失败。 #49927
Files()导入 CSV 文件时，对非可见字符的错误处理而导致的 Schema 获取错误。#49718- 多列分区表替换临时产生的分区错误。 #49764
行为变更
- 为了更好的适应向云上对象存储备份的场景，引入新的参数
object_storage_rename_file_request_timeout_ms。系统会优先使用该参数作为备份的超时时间。默认为 30 秒。 #49706 to_json、CAST(AS MAP)以及STRUCT AS JSON时，默认转换失败不报错，返回为 NULL。您可以通过设置系统变量sql_mode为ALLOW_THROW_EXCEPTION来使查询允许报错。#50157
3.2.11
发布日期：2024 年 12 月 1 日
功能优化
问题修复
- Equi-join 查询由于全局字典未改写导致报错。#50690
- Tablet Clone 时 FE 侧死循环导致报错
version has been compacted。#50561 - 数据副本基于 Label 分布后，不健康副本修复调度错误。#50331
- 统计信息收集日志中报错
Unknown column '%s' in '%s。#50785 Files()读取 Parquet 格式文件中复杂类型 TIMESTAMP 时使用的 Timezone 不正确。#50448
行为变更
- 从 v3.3.x 版本降级至 v3.2.11 版本，如果存在不兼容的元数据信息，系统将直接忽略。#49636
3.2.7（已下线）
发布日期：2024 年 7 月 18 日
新增特性
- Stream Load 支持在传输过程中对数据进行压缩，减少网络带宽开销。可以通过
compression或Content-Encoding参数指定不同的压缩方式，支持 GZIP、BZIP2、LZ4_FRAME、ZSTD 压缩算法。#43732 - 优化了存算分离集群的垃圾回收机制，支持手动对表或分区进行 Compaction 操作，可以更高效的回收对象存储上的数据。#39532
- 支持从 StarRocks 读取 ARRAY、MAP 和 STRUCT 等复杂类型的数据，并以 Arrow 格式可提供给 Flink connector 读取使用。#42932 #347
- 支持查询时异步填充 Data Cache，从而减少缓存填充对首次查询性能影响。#40489
- 外表 ANALYZE TABLE 命令支持收集直方图统计信息，可以有效应对数据倾斜场景。参见 CBO 统计信息。#42693
- Lateral Join 结合 UNNEST 支持 LEFT JOIN。#43973
- Query Pool 内存支持通过 BE 静态参数
query_pool_spill_mem_limit_threshold配置 Spill 阈值，如果超过阈值，查询可以通过中间结果落盘的方式降低内存占用减少 OOM。#44063 - 支持基于 Hive View 创建异步物化视图。#45085
功能优化
- 优化 Broker Load 任务导入 HDFS 数据时对应路径下没有数据时的报错信息。#43839
- 优化 Files 函数读取 S3 数据场景下没有配置 Access Key 和 Secret Key 的报错信息。#42450
- 优化 Broker Load 导入时任何分区下均没有数据导入的报错信息。#44292
- 优化 INSERT INTO SELECT 导入时，目标表与 SELECT 列数据不匹配的场景下的报错信息。#44331
问题修复
- BITMAP 类型在并发读写场景下可能会导致 BE Crash。#44167
- 主键索引可能会导致 BE Crash。#43793 #43569 #44034
- str_to_map 函数并发场景下可能会导致 BE Crash。#43901
- Apache Ranger 的 Masking 策略下，在查询中添加表的别名报错。#44445
- 存算分离模式下执行过程中某个节点异常，无法路由到备用节点。同时针对该问题，优化部分报错信息。#43489
- 在容器环境下获取内存信息不正确。#43225
- 取消 INSERT 任务时抛出异常。#44239
- 无法动态创建基于表达式的动态分区。#44163
- 创建分区可能导致 FE 死锁。#44974
Doris
2.1.8
发布日期：2025 年 1 月 23 日
行为变更
- 当通过 External Catalog 查询表名大小写不敏感的数据源（如 Hive）时，在之前版本中，可以使用任意大小写进行表名查询，但是在 2.1.8版本中，将严格遵循 Doris 自身的表名大小写敏感策略。
- 添加环境变量
SKIP_CHECK_ULIMIT以跳过 BE 进程内关于 ulimit 值校验检查，仅适用于 Docker 快速启动场景中应用。#45267 - 添加
enable_cooldown_replica_affinity session变量控制冷热分层下查询选用副本亲和性。 - FE 添加配置
restore_job_compressed_serialization和backup_job_compressed_serialization用于解决 db tablet 数量非常大情况下备份和恢复操作时 FE OOM 的问题，默认关闭，打开之后无法降级。
新功能
改进提升
湖仓一体
- Hudi 版本更新至 0.15，并且优化了 Hudi 表的查询规划性能。
- 优化了 MaxCompute 分区表的读取性能。 #45148
- 支持会话变量 enable_text_validate_utf8，可以忽略 CSV 格式中的 UTF8 编码检测。#45537
- 优化在高过滤率情况下，Parquet 文件延迟物化的性能。#46183
异步物化视图
查询优化器
- 提升了 Runtime Filter 的自适应能力。#42640
- 增加了在 MAX / MIN 聚合函数列上的过滤条件生成原始列过滤条件的能力。#39252
- 增加了在连接谓词上抽取单测过滤条件的能力。#38479
- 优化了谓词推导在集合算子上的能力，可以更好的生成过滤谓词。#39450
- 优化了统计信息收集和使用的异常处理能力，避免在收集异常时产生非预期的执行计划。#43009 #43776 #43865 #42104 #42399 #41729
查询执行引擎
存储管理
- CCR 支持了更加全面的操作，比如 Rename Table，Rename Column，Modify Comment，Drop View，Drop Rollup 等。
- 提升了 Broker Load 导入进度的准确性和多个压缩文件导入时的性能。
- 改进了 Routine Load 超时策略、线程池使用以防止 Routine Load 超时失败和影响查询。
其他
- 在开箱参数中，将
enable_memtable_on_sink_node调整为 false，以避免潜在的稳定性问题。 - Docker 快速启动镜像支持不设置环境参数直接启动，添加环境变量
SKIP_CHECK_ULIMIT以跳过start_be.sh脚本以及 BE 进程内关于swap、max_map_count、ulimit相关校验检查，仅适用于 Docker 快速启动场景中应用。#45269 - 新增 LDAP 配置型
ldap_group_filter用于自定义 Group 过滤。#43292 - 优化了使用 Ranger 时的性能。#41207
- 修复审计日志中，
scan bytes统计不准的问题。#45167 - 在 COLUMNS 系统表中能够正确显示列的默认值。#44849
- 在 VIEWS 系统表中能够正确显示视图的定义。#45857
- 当前，admin 用户不能被删除。#44751
Bug 修复
湖仓一体
- Hive
- Iceberg
- Paimon
- 修复 Paimon Catalog 无法访问阿里云 OSS-HDFS 的问题。#42585
- Hudi
- 修复某些情况下，Hudi 表分区裁剪失效的问题。#44669
- JDBC
- 修复某些情况下，开始表名大小写不敏感功能后，使用 JDBC Catalog 无法获取表的问题。
- MaxCompute
- 修复某些情况下，MaxCompute 表分区裁剪失效的问题。#44508
- 其他
异步物化视图
- 修复了当物化视图定义中存在 CTE 时，无法刷新的问题。#44857
- 修复了当基表增加列后，异步物化视图不能命中透明改写的问题。#44867
- 修复了当查询中在不同位置包含相同的过滤谓词时，透明改写失败的问题。#44575
- 修复了当过滤谓词或连接谓词中使用列的别名时，无法透明改写的问题。#44779
索引
- 修复倒排索引 Compaction 异常处理的问题。 #45773
- 修复倒排索引构建因为等锁超时失败的问题。 #43589
- 修复异常情况下倒排索引写入 Crash 的问题。#46075
- 修复 Match 函数特殊参数时空指针的问题。 #45774
- 修复 VARIANT 倒排索引相关的问题，禁用 VARIANT 使用索引 v1 格式。#43971 #45179
- 修复 NGram Bloomfilter Index 设置
gram_size = 65535时 Crash 的问题。#43654 - 修复 Bloomfilter Index 计算 DATE 和 DATETIME 不对的问题。#43622
- 修复 Drop Coloumn 没有自动 Drop Bloomfilter Index 的问题。#44478
- 减少 Bloomfilter Index 写入时的内存占用。#46047
半结构化数据类型
- 优化内存占用，降低 VARIANT 数据类型的内存消耗。#43349 #44585 #45734
- 优化 VARIANT Schema Copy 性能。#45731
- 自动推断 Tablet Key 时不将 VARIANT 作为 Key。#44736
- 修复 VARIANT 从 NOT NULL 改成 NULL 的问题。#45734
- 修复 Lambda 函数类型推断错误的问题。#45798
- 修复
ipv6_cidr_to_range函数边界条件 Coredump。#46252
查询优化器
- 修复了潜在的表读锁互斥导致的死锁问题，并优化了锁的使用逻辑。#45045 #43376 #44164 #44967 #45995
- 修复了 SQL Cache 功能错误的使用常量折叠导致在使用包含时间格式的函数时结果不正确的问题。#44631
- 修复了比较表达式优化，在边缘情况下可能优化错误，导致结果不正确的问题。#44054 #44725 #44922 #45735 #45868
- 修复高并发点查审计日志不正确的问题。 #43345 #44588
- 修复高并发点查遇到异常后持续报错的问题。#44582
- 修复部分字段 Prepared Statement 不正确的问题。#45732
查询执行引擎
- 修复了正则表达式和 LIKE 函数在特殊字符时结果不对的问题。#44547
- 修复 SQL Cache 在切换 DB 的时候结果可能不对的问题。#44782
- 修复
cut_ipv6函数结果不对的问题。#43921 - 修复数值类型到 bool 类型 cast 的问题。#46275
- 修复了一系列 Arrow Flight 相关的问题。#45661 #45023 #43960 #43929
- 修复了当 hashjoin 的 hash 表超过 4G 时，部分情况结果错误的问题。#46461
- 修复了 convert_to 函数在中文字符时溢出的问题。#46505
存储管理
- 修复高并发 DDL 可能导致 FE 启动失败的问题。
- 修复自增列可能出现重复值的问题。
- 修复扩容时 Routine Load 不能使用新扩容 BE 的问题。
权限管理
- 修复使用 Ranger 作为鉴权插件时，频繁访问 Ranger 服务的问题。#45645
Others
- 修复 BE 端开启
enable_jvm_monitor=true后可能导致的内存泄露问题。#44311
2.1.7（已下线）
发布日期：2024 年 12 月 1 日
行为变更
- 以下全局变量会被强制设置到下列默认值：
- enable_nereids_dml: true
- enable_nereids_dml_with_pipeline: true
- enable_nereids_planner: true
- enable_fallback_to_original_planner: true
- enable_pipeline_x_engine: true
- 审计日志增加了新的列。 #42262
- 更多信息，请参考管理指南。
新功能
异步物化视图
- 异步物化视图增加了一个属性 use_for_rewrite 用于控制是否参与透明改写。 #40332
查询执行引擎
- 在 Profile 中输出变更的 session variable 列表。#41016
- 增加了
trim_in、ltrim_in和rtrim_in函数的支持。#42641 - 增加了一些 URL 函数，包括对
to``p_level_domain、first_significant_subdomain、cut_to_first_significant_subdomain支持。#42916 - 增加了
bit_set函数。#42099 - 增加了
count_substrings函数。#42055 - 增加
translate和url_encode函数。#41051 - 增加
normal_cdf,to_iso8601,from_iso8601_date函数。 #40695
存储管理
- 增加了
information_schema.table_options和information_schema.``table_properties系统表，支持查询建表时设置的一些属性。#34384- 更多信息，请参考系统表：
- 支持
bitmap_empty作为默认值。#40364 - 增加了一个新的 Session 变量
require_sequence_in_insert来控制向 Unique Key 表进行insert into select写入时，是否必须提供 Sequence 列。#41655
其他
允许在 BE WebUI 页面生成火焰图。#41044
改进提升
湖仓一体
- 支持写入数据到 Hive Text 格式表。#40537
- 更多信息，请参考使用 Hive 构建数据湖文档。
- 使用 MaxCompute Open Storage API 访问 MaxCompute 数据。#41610
- 更多信息，请参考 MaxCompute 文档。
- 支持 Paimon DLF Catalog。#41694
- 更多信息，请参考 Paimon Catalog 文档。
- 新增语法
table$partitions语法支持直接查询 Hive 分区信息。 #41230- 更多信息，请参考通过 Hive 分析数据湖文档。
- 支持 brotli 压缩格式的 Parquet 文件读取。#42162
- 支持读取 Parquet 文件中的 DECIMAL 256 类型。#42241
- 支持读取 OpenCsvSerde 格式的 Hive 表。#42939
异步物化视图
查询优化器
- 优化了极端情况下统计信息收集和使用的准确性，以提升规划稳定性。#40457
- 现在可以在更多情况下生成 Runtime Filter，以提升查询性能。 #40815
- 提升数值，日期和字符串函数的常量折叠能力，以提升查询性能。#40820
- 优化了列裁剪的算法，以提升查询性能。#41548
查询执行引擎
- 支持并行的 Prepare 降低短查询的耗时。#40270
- 修正了 Profile 中一些 Counter 的名字，保持跟审计日志一致。#41993
- 增加了新的 Local Shuffle 规则，使得部分查询更快。#40637
存储管理
- Show Partitions 命令支持显示 Commit Version。 #28274
- 建表时检查不合理的 Partition EXPR。#40158
- 优化 Routine Load EOF 时的调度逻辑。#40509
- Routine Load 感知 Schema 变化。#40508
- 优化 Routine Load Task 超时逻辑。#41135
其他
Bug 修复
湖仓一体
- 修复了 INSERT OVERWRITE 的行为跟 Hive 不一致的问题。#39840
- 清理临时创建的文件夹，解决 HDFS 上空文件夹太多的问题。#40424
- 修复某些情况下，使用 JDBC Catalog 导致 FE 内存泄露的问题。#40923
- 修复某些情况下，使用 JDBC Catalog 导致 BE 内存泄露的问题。#41266
- 修复某些情况下，读取 Snappy 压缩格式错误的问题。#40862
- 修复某些情况下，FE 端 FileSystem 可能泄露的问题。#41108
- 修复某些情况下，通过 EXPLAIN VERBOSE 查看外表执行计划可能导致空指针的问题。#41231
- 修复无法读取 Paimon parquet 格式表的问题。#41487
- 修复 JDBC Oracle Catalog 兼容性改动引入的性能问题。#41407
- 禁止下推隐式转换后的谓词条件已解决 JDBC Catalog 某些情况下查询结果不正确的问题。#42242
- 修复 External Catalog 中表名大小写访问异常的一些问题。#42261
异步物化视图
- 修复用户指定的 Start Time 不生效的问题。#39573
- 修复嵌套物化视图不刷新的问题。#40433
- 修复删除重建基表后，物化视图可能不刷新的问题。#41762
- 修复分区补偿改写可能导致结果错误的问题。#40803
- 当
sql_select_limit设置时，改写结果可能错误的问题。#40106
半结构化管理
- 修复了索引文件句柄泄露的问题。#41915
- 修复了特殊情况下倒排索引
count()不准确的问题。#41127 - 修复了未开启 Light Schema Change 时 Variant 异常的问题。#40908
- 修复了 Variant 返回数组时内存泄漏的问题。#41339
查询优化器
查询执行引擎
match_regexp函数不能正确处理空字符串的问题。#39503- 解决在高并发场景下，Scanner 线程池卡死的问题。#40495
- 修复了
data_floor函数结果错误的问题。#41948 - 修复了部分场景下，Cancel 消息不正确的问题。#41798
- 修复 Arrow Flight 打印太多的 Warn 日志的问题。#41770
- 解决部分场景下 Runtime Filter 发送失败的问题。#41698
- 修复了一些系统表查询的时候不能正常结束或者卡住的问题。#41592
- 修复了窗口函数结果不正确的问题。#40761
- 修复 ENCRYPT 和 DECRYPT 函数导致 BE Core 的问题。#40726
- 修复 CONV 函数结果错误的问题。#40530
存储管理
- Memtable 前移在多副本情况下，有机器宕机时导入失败的问题。#38003
- 导入过程中，Memtable 在 Flush 阶段时，统计的内存不准确。#39536
- 修复 Memtable 前移多副本容错的问题。#40477
- 修复 Memtable 前移 bvar 统计不准的问题。#40985
- 修复 s3 Load 进度汇报不准的问题。#40987
权限管理
- 修复了 SHOW COLUMNS, SHOW SYNC, SHOW DATA FROM DB.TABLE 相关的权限问题。 #39726
Others
- 修复 2.0 版本的审计日志插件在 2.1 版本无法使用的问题。#41400
1.2.8（已下线）
发布日期：2024 年 3 月 9 日
改进和优化
- 修复若干查询执行的问题
- 修复若干 Spark Load 相关的问题
- 修复若干 Parquet/ORC 文件读取的问题。
- 修复 Broker 进行因为
FileSystem closed错误导致运行失败的问题。 - 修复若干 Broker Load 相关的问题。
- 修复若干 CTAS 操作相关的问题。
- 修复若干备份恢复功能相关的问题。
- 修复若干导出（Export/Outfile）相关的问题。
- 修复
replayEraseTable方法导致 FE 无法启动的问题。 - 优化 Iceberg Catalog 元数据缓存的性能。
- Audit Log 中新增 Catalog 列。
最近更新时间：2025.05.30 11:01:35
这个页面对您有帮助吗？
有用
有用
无用
无用