AWS Athena抽取1%Bernoulli随机样本量仅为原表0.4%的问题咨询

嘿，这个问题我之前帮不少开发者排查过，核心是Bernoulli抽样的逻辑和Parquet存储特性的适配问题，主要有这几个关键原因：

• Parquet分区的数据倾斜或元数据不准确
  如果你的表是按分区存储的，Athena的Bernoulli抽样是逐分区执行的。如果某个或多个分区本身存在数据倾斜（比如某分区占了原表80%的行数，但抽样时因为元数据错误，Athena误以为该分区行数很少，导致抽样比例被压低），或者分区的统计元数据（比如总行数）过时，就会让整体抽样比例偏离1%。你可以用SHOW PARTITIONS your_table;列出所有分区，然后单独对每个分区执行抽样，看哪个分区的比例偏差最大，就能定位问题。

• Parquet列式存储的Row Group特性影响
  Parquet文件是按Row Group存储的，Athena在执行抽样时，可能会基于Row Group的元数据来快速计算抽样行数，而不是逐行判断。如果某些Row Group的元数据（比如实际行数）和记录的不一致，或者Row Group的规模太小，随机数的分布就可能导致该Row Group中被选中的行数比例远低于1%。比如一个只有100行的Row Group，按1%抽样理论上应该选1行，但随机数可能刚好没选中任何行，多个这样的小Row Group累加起来，整体比例就会被拉低。

• Bernoulli抽样的概率本质（非严格比例）
  要注意，Bernoulli抽样是每行独立以指定概率被选中，这意味着实际样本量是符合二项分布的随机变量，不是严格的1%。比如原表有100万行，理论样本量的标准差约为99，所以9000-11000行都属于正常波动。但如果你的原表行数很大（比如10亿行），却稳定在0.4%，那肯定不是随机波动，而是前面两个原因导致的。

• Athena的抽样优化导致近似偏差
  为了提升查询速度，Athena可能会对抽样做近似优化——比如利用Parquet的统计信息跳过某些Row Group，或者不逐行执行随机判断，而是基于文件级的估算来抽样。这种优化在统计信息不准确时，就会导致实际抽样比例偏离预期。

验证与解决方法 #

• 更新表的统计信息：执行ANALYZE TABLE your_table COMPUTE STATISTICS;，让Athena获取准确的行数和分区数据，再重新抽样。
• 排查分区数据：对每个分区单独执行抽样查询，看是否存在某个分区的抽样比例异常低，针对性检查该分区的Parquet文件是否损坏或元数据错误。
• 多次抽样验证：如果是随机波动，多次执行抽样后样本量会在1%左右波动；如果每次都在0.4%，那肯定是存储或元数据问题。

内容的提问来源于stack exchange，提问作者lsl__