BigQuery中FARM_FINGERPRINT取模后分布异常的技术咨询

问题概述 #

• 数据集包含标签0和1各约2万条记录，使用ABS(MOD(FARM_FINGERPRINT(some_id), 10)) < 8 THEN 'train'逻辑实现训练/测试拆分，日常运行正常，今日出现异常
• 标签1对应的指纹结果分布正常，标签0的指纹末尾存在多个连续零，最后一位数字始终≤7，导致所有标签0的记录全部进入训练集
• 标签0的指纹最后一位数字在0-7之间均匀分布，且未排序的情况下呈现末尾五位从00000到00007的升序排列
• 源数据的id列无异常，来自外部独立生成流程，此前曾多次出现类似情况

可能原因 #

• 输入类型隐式转换导致精度丢失：若标签0的some_id为字符串类型，但被隐式转换为数值类型（如超大整数超出精度范围），会导致指纹计算时输入值被近似或截断，进而产生末尾带连续零的规律化哈希结果。
• 外部id生成的隐性规律：虽然id声称是独立生成，但标签0对应的id可能存在未被发现的生成模式，比如某批次id的低位是固定递增序列，输入FARM_FINGERPRINT后产生了分布失衡的哈希结果。
• FARM_FINGERPRINT的特性限制：该哈希函数对特定格式的输入可能存在分布偏移，当输入集中出现同类特征值时，哈希结果的末尾位分布会出现明显规律。

临时修复方案 #

• 更换哈希函数：改用MD5或SHA256等哈希函数，避免FARM_FINGERPRINT的特性问题，示例逻辑：

  ABS(MOD(CAST(SUBSTR(MD5(some_id), 1, 16) AS INT64), 10)) < 8 THEN 'train'
  

• 调整模运算的取值位置：不依赖哈希结果的最后一位，改用中间几位计算模值，示例：

  ABS(MOD(CAST(SUBSTR(CAST(FARM_FINGERPRINT(some_id) AS STRING), -5, 4) AS INT64), 10)) < 8 THEN 'train'
  

• 添加盐值打破规律：在id中拼接固定盐值后再计算哈希，干扰输入的隐性规律，示例：

  ABS(MOD(FARM_FINGERPRINT(CONCAT(some_id, 'fixed_salt_123')), 10)) < 8 THEN 'train'
  

长期排查建议 #

• 确认id生成规则：和外部系统对接，排查标签0对应的id是否存在周期性的格式特征或序列规律。
• 统一输入数据类型：确保计算哈希时some_id以字符串类型传入，避免数值类型的精度丢失问题。
• 监控哈希分布：定期统计不同标签的哈希结果末尾位分布比例，设置告警阈值，及时发现分布失衡情况。

内容的提问来源于stack exchange，提问作者murnko