Apache Beam生成与条目绑定、重试时稳定的随机数的推荐方法

要实现重试时随机数不变，核心是基于数据本身的固有属性生成确定性伪随机值，而不是使用和运行时环境绑定的无状态随机生成器。具体实现步骤如下：

• 提取数据的唯一标识
  首先确保每条数据可获得唯一不变的标识：可以是业务主键、唯一请求ID，若数据本身没有内置唯一键，可对整条数据的所有字段序列化后计算哈希值作为唯一标识，只要数据内容不变，该标识就不会发生变化。
• 基于唯一标识生成固定阈值的随机结果
  使用确定性哈希算法对唯一标识做运算，将结果映射到你需要的数值区间即可。比如90%/10%分流的场景，只需要把哈希结果映射到0~99的整数区间，小于90走第一类逻辑，大于等于90走第二类逻辑。
  不同SDK的示例实现：
  • Java SDK 可借助Guava的哈希工具实现：

    // 提取数据唯一键
    String uniqueKey = element.getPrimaryId();
    // 计算固定哈希值
    int hash = Hashing.murmur3_32_fixed().hashString(uniqueKey, StandardCharsets.UTF_8).asInt();
    // 映射到0-99区间
    int randomTag = Math.abs(hash % 100);
    if (randomTag < 90) {
      // 执行90%占比的处理逻辑
    } else {
      // 执行10%占比的处理逻辑
    }
    

  • Python SDK 可借助mmh3库实现：

    import mmh3
    unique_key = element["primary_id"]
    hash_val = mmh3.hash(unique_key)
    random_tag = abs(hash_val % 100)
    if random_tag < 90:
      # 执行90%占比的处理逻辑
    else:
      # 执行10%占比的处理逻辑
    

• 禁止使用的实现方式
  不要直接实例化无状态Random类生成随机数，也不要使用Beam原生的RandomRange等变换，这类方法的种子和运行时环境、启动时间、节点ID等变量绑定，重试时生成的结果会发生变化，无法满足一致性要求。

该方案把随机判断逻辑从「运行时动态生成」改为「数据固有属性派生」，完全不受工作节点崩溃、重试、作业重启等运行时变化的影响，除了比例分流场景外，也适用于固定比例采样、数据随机分组等所有需要随机数稳定的Beam处理场景。

内容的提问来源于stack exchange，提问作者Paul McVay