多次重复调用后，Numpy数组转np.int64抛出RuntimeWarning问题

可能的原因 #

• 浮点数精度累积误差：尽管你确认每个histogram的求和结果大于0，但多次循环后，浮点数的精度损耗可能导致部分histogram的sum计算结果趋近于0（甚至被判定为0），触发除零操作生成inf，或者极小sum导致计算出的数值超出np.int64范围，转换时产生无效值。
• 外部生成的histogram引入无效值：循环调用函数时，外部数据生成的histograms可能随着迭代次数增加，意外混入NaN或inf值。只要元素存在无效值，计算histogram / histogram.sum()后就会得到NaN，转换为int类型时触发警告。
• INT_CASTER数值超出范围：如果INT_CASTER的数值超过np.int64的最大可表示值（约9e18），(histogram / histogram.sum()) * INT_CASTER的结果会超出浮点数能准确映射到整数的范围，转换时产生无效值。

解决方法 #

1. 增加前置校验，拦截无效数据 #

在处理每个histogram前，先校验sum和元素的有效性，提前处理异常情况：

def _normalize_cast_int(histograms: NDArray[np.float64]) -> NDArray[np.int64]:
    int_histograms = np.empty(histograms.shape, dtype=np.int64)
    instances = histograms.shape[0]
    
    for i in range(instances):
        histogram = histograms[i].copy()
        
        # 校验求和结果是否有效
        hist_sum = histogram.sum()
        if not np.isfinite(hist_sum) or hist_sum <= 1e-12:
            # 替换为默认值（根据业务需求调整逻辑）
            int_histograms[i] = np.zeros_like(histogram, dtype=np.int64)
            continue
        
        # 清理元素中的NaN/inf
        if not np.all(np.isfinite(histogram)):
            histogram = np.nan_to_num(histogram, nan=0.0, posinf=0.0, neginf=0.0)
            hist_sum = histogram.sum()
            if hist_sum <= 1e-12:
                int_histograms[i] = np.zeros_like(histogram, dtype=np.int64)
                continue
        
        # 原有转换逻辑
        histogram = ((histogram / hist_sum) * INT_CASTER).astype(np.int64)
        error = INT_CASTER - histogram.sum()
        mask = np.zeros(shape=histogram.size, dtype=np.int64)
        mask[:error] += 1
        np.random.seed(42)
        np.random.shuffle(mask)
        int_histograms[i] = histogram + np.reshape(mask, (-1, histogram.shape[0]))
    
    return int_histograms

2. 优化计算精度，减少误差 #

使用更高精度的浮点数类型进行求和与计算，降低精度损耗：

# 将求和与除法计算切换为float128精度
hist_sum = histogram.sum(dtype=np.float128)
histogram = ((histogram.astype(np.float128) / hist_sum) * INT_CASTER).astype(np.int64)

3. 检查INT_CASTER的取值范围 #

确认INT_CASTER未超出np.int64的可表示范围，必要时调整数值或更换整数类型：

# 查看np.int64的最大取值
print(f"np.int64 最大值: {np.iinfo(np.int64).max}")
# 若INT_CASTER过大，可改用np.int128（需确认运行环境支持）

4. 优化随机种子设置（非直接修复，但提升代码合理性） #

循环内重复设置随机种子会导致每次生成的mask完全一致，失去随机性。建议将种子设置移到函数开头：

def _normalize_cast_int(histograms: NDArray[np.float64]) -> NDArray[np.int64]:
    np.random.seed(42)  # 仅初始化一次
    int_histograms = np.empty(histograms.shape, dtype=np.int64)
    instances = histograms.shape[0]
    
    for i in range(instances):
        # ... 原有逻辑 ...
        mask = np.zeros(shape=histogram.size, dtype=np.int64)
        mask[:error] += 1
        np.random.shuffle(mask)
        # ...

内容的提问来源于stack exchange，提问作者Oliver