Oracle HBC直方图是否符合均匀分布的判定咨询

结论 #

该直方图直接否定属性A服从均匀分布的假设。

判断逻辑 #

你提供的是等频直方图（共10个桶，总数据1000行，每个桶固定包含100行数据，占总数据量的10%），可通过桶区间宽度的一致性判断分布是否均匀：

• 均匀分布的核心特征是：取值落在任意区间的概率和区间长度成正比。如果属性A服从均匀分布，每个占总数据10%的桶，覆盖的取值区间长度应该基本一致。
• 计算现有直方图各桶的区间宽度（取相邻两个桶的end值差为当前桶的区间宽度）：

  桶2：800~900 → 宽度100
  桶3：900~1000 → 宽度100
  桶4：1000~1200 → 宽度200
  桶5：1200~1500 → 宽度300
  桶6：1500~2000 → 宽度500
  桶7：2000~2300 → 宽度300
  桶8：2300~2400 → 宽度100
  桶9：2400~2550 → 宽度150
  桶10：2550~2590 → 宽度40
  

• 可以看到不同桶的区间宽度差异最高超过12倍，完全不符合均匀分布的区间占比要求。

通用判断方法 #

不管是等频还是等宽直方图，都可以用以下逻辑判定：

• 等宽直方图：每个桶的区间长度固定，均匀分布下每个桶的行数应该基本一致，行数差异超过合理阈值即可否定均匀假设。
• 等频直方图：每个桶的行数固定，均匀分布下每个桶的区间长度应该基本一致，长度差异超过合理阈值即可否定均匀假设。

内容的提问来源于stack exchange，提问作者Khaled