numpy.random.choice按百分比分配结果不符合预期，原因及解决方法是什么？

问题根因分析 #

• 最核心的原因是代码存在全局列表污染问题
  你贴出的assign函数中，ids和percentages没有在函数内部初始化，属于全局变量。每次调用assign都会往这两个列表追加新的分组配置，不会清空历史值。
  比如你配置的是二分组权重[0.9, 0.1]，如果两次调用assign函数没有清空列表，最终传入numpy.random.choice的p参数会变成[0.9,0.1,0.9,0.1]，低权重分组的概率会叠加为0.2，正好和你遇到的稳定8:2的异常现象完全匹配。不同分组配置当然会互相干扰：比如先调用二分组再调用三分组，最终的p列表会拼接两种配置的权重，概率完全错乱。
• 其次确实和numpy全局随机实例的特性有关
  numpy的numpy.random.*系列函数底层共享全局的随机数生成器状态：
  • 多线程并发调用时会出现状态竞争，导致随机分布偏离预期
  • Flask多进程部署时，fork子进程会继承父进程的随机数种子，多个子进程生成的随机序列高度重复，也会导致大样本下的统计占比异常。

可靠的带权重随机选择方案 #

第一步：先修复全局变量污染bug #

每次调用assign函数时，都在函数内部初始化ids和weights列表，避免全局状态残留：

def assign(groups):
    # 每次调用都重新初始化列表，清除历史数据
    ids = []
    percentages = []
    for group in groups:
        ids.append(group.id)
        percentages.append(group.percentage)
    # 后续随机选择逻辑

第二步：替换全局随机接口，避免状态竞争 #

方案1：使用numpy独立随机生成器（适合需要numpy其他能力的场景）

使用numpy 1.17+推出的独立Generator接口，每次生成独立的随机数实例，不受全局状态影响：

import numpy as np
def assign(groups):
    ids = [g.id for g in groups]
    percentages = [g.percentage for g in groups]
    # 用系统熵初始化独立随机生成器，无全局状态冲突
    rng = np.random.default_rng()
    return rng.choice(ids, p=percentages)

方案2：使用Python标准库实现（更轻量，无依赖问题）

直接用标准库random.choices实现带权重选择，不需要引入numpy依赖，逻辑更简单：

import random
def assign(groups):
    ids = [g.id for g in groups]
    weights = [g.percentage for g in groups]
    return random.choices(ids, weights=weights, k=1)[0]

方案3：确定性分组（适合需要用户分组固定的场景）

如果要求同一用户每次访问都分到同一组，避免刷新变组，可以用用户唯一标识做种子生成确定性结果，多节点部署也不会出现结果不一致：

import random
import hashlib

def assign(user, groups):
    ids = [g.id for g in groups]
    weights = [g.percentage for g in groups]
    # 基于用户ID生成固定种子，保证同一用户结果一致
    seed = int(hashlib.md5(user.id.encode()).hexdigest(), 16) % 10**8
    user_rng = random.Random(seed)
    return user_rng.choices(ids, weights=weights, k=1)[0]

多节点部署注意事项 #

• 若使用确定性分组，只要所有节点的分组配置、哈希逻辑完全一致，统计占比会严格符合预设权重，不会出现跨节点偏差
• 若使用真随机分组，只要每个节点的随机生成器都用系统熵独立初始化，没有全局状态污染，数万用户量级的大样本下统计占比会和预设值一致

内容的提问来源于stack exchange，提问作者Layla