Hive列统计信息中bitVectors字段的含义与计算规则咨询

一、bitVectors字段的含义 #

bitVectors是Hive为列级统计设计的轻量级位图结构，核心作用是给查询优化器提供快速判断数据分布的依据——比如快速确定某个值是否存在于列中、列的取值范围特征，以此减少不必要的数据扫描，提升查询效率。

二、bitVectors的计算规则 #

• 触发条件：只有执行ANALYZE TABLE [表名] COMPUTE STATISTICS FOR COLUMNS [列名1, 列名2...]语句时，Hive才会针对支持的列类型生成该字段。
• 计算逻辑：
  • 对于低基数列（不同取值少）：直接把每个不同取值映射为二进制位，标记值的存在状态，实现精准判断。
  • 对于高基数列（不同取值极多）：会用哈希映射、分段压缩等方式生成简化的位图，或者直接标记为HL（后面会解释），平衡存储空间和判断效率。
• 适用限制：仅支持基础数据类型（数值、字符串、日期等），array、map这类复杂类型的列不会生成bitVectors。

三、null/HL值的具体含义 #

• null：要么是该列类型不支持bitVectors统计（比如复杂类型），要么是执行ANALYZE时统计任务失败，或是列数据量过小、Hive认为无生成必要。
• HL：是High Cardinality的缩写，代表该列是高基数列。此时完整位图会占用极大存储空间，Hive便用HL标记替代，查询优化器看到这个标记后，会跳过位图判断，改用其他优化策略（比如直接扫描对应分区或数据文件）。

内容的提问来源于stack exchange，提问作者mkm