Azure Data Explorer同分区元数据Extent未合并原因咨询
Azure Data Explorer分区与合并策略疑问
我正在优化采用字符串哈希+时间UniformRange混合分区策略的Azure Data Explorer数据库。为提升查询性能,我研究了哈希分区键的MaxPartitionCount设置。当使用默认的128个分箱时,每个UniformRange时间分区最终生成了128×2个extent,而我预期每个时间分区仅生成128个——因为同分区元数据的extent对应该满足合并策略的合并条件。这是什么原因?
仅UniformRange分区的最小示例(小数据集)
分区策略
"EffectiveDateTime" : "1970-01-01T00:00:00", "PartitionKeys": [ { "ColumnName": "timestamp", "Kind": "UniformRange", "Properties": { "Reference": "1970-01-01T00:00:00", "RangeSize": "01.00:00:00", "OverrideCreationTime": true } } ]
生成的Extent情况(每日2个)
| OriginalSize | ExtentSize | CompressedSize | RowCount | MaxCreatedOn | Column B |
|---|---|---|---|---|---|
| 87058761 | 8022944 | 7932142 | 838350 | 2023-10-26T23:52:30Z | 2023-10-26T07:10:00Z |
| 720604715 | 60644931 | 59245697 | 6920424 | 2023-10-26T23:59:50Z | 2023-10-26T00:00:00Z |
当前合并策略参数
"RowCountUpperBoundForMerge": 16000000, "OriginalSizeMBUpperBoundForMerge": 30000, "MaxExtentsToMerge": 100, "LoopPeriod": "01:00:00", "MaxRangeInHours": 48, "AllowRebuild": true, "AllowMerge": true, "Lookback": { "Kind": "All", "CustomPeriod": null }, "ShardEngineMaxExtentSizeInMb": 8192,
对比以上参数,我无法理解这两个extent为何不合并?
内容的提问来源于stack exchange,提问作者karl
相关产品推荐
相关产品推荐

