You need to enable JavaScript to run this app. pandas下单个待测试数据点对照参考数据集的分位秩排名计算方法
优惠活动
大模型
产品
解决方案
定价
更多

pandas下单个待测试数据点对照参考数据集的分位秩排名计算方法

待测试数据在参考集维度下的分位秩计算实现

前置参考集构造

按照需求先完成带分位秩的参考数据集搭建,基础代码如下:

import pandas as pd

# 原始参考数据集
ref_data = {
    'score1': [60, 30, 80, 120],
    'score2': [20, 21, 19, 18],
    'score3': [12, 43, 71, 90]
}
ref_df = pd.DataFrame(ref_data)

# 计算参考集各指标的分位秩(计算逻辑基准)
for col in ['score1', 'score2', 'score3']:
    ref_df[f'{col}_rank'] = ref_df[col].rank(pct=True)

核心实现逻辑

待测试数据的秩计算需要和参考集的秩计算规则完全对齐,本质是逐维度匹配测试值在参考值分布中的相对位置,输出和参考集口径一致的百分位秩值。
通用实现步骤如下:

  • 逐指标提取参考集的全部样本值
  • 对每个测试值,统计参考集中小于、等于该值的样本数量
  • 按照参考集rank(pct=True)默认的平均秩规则,计算对应分位位置
  • 对超出参考集取值范围的测试值,按照边界规则输出0或1的秩值

具体计算代码

先实现通用的秩计算工具函数:

import numpy as np

def calc_matched_rank(test_val: float, ref_col: pd.Series) -> float:
    ref_values = ref_col.values
    total_ref_count = len(ref_values)
    # 边界越界场景处理
    if test_val < np.min(ref_values):
        return 0.0
    if test_val > np.max(ref_values):
        return 1.0
    # 平局计数逻辑,对齐pandas默认average秩规则
    lower_num = np.sum(ref_values < test_val)
    equal_num = np.sum(ref_values == test_val)
    return (lower_num + (equal_num + 1)/2) / total_ref_count

加载待测试数据集并逐维度计算秩:

# 待测试数据集
test_data = {
    'score1': [12],
    'score2': [4],
    'score3': [6]
}
test_df = pd.DataFrame(test_data)

# 逐维度计算测试值对应的参考集秩
for col in ['score1', 'score2', 'score3']:
    test_df[f'{col}_matched_rank'] = test_df[col].apply(
        lambda x: calc_matched_rank(test_val=x, ref_col=ref_df[col])
    )

示例计算结果

针对给定的测试点,最终输出的匹配秩为:

  • score1 测试值12(小于参考集最小值30):对应分位秩为0.0
  • score2 测试值4(小于参考集最小值18):对应分位秩为0.0
  • score3 测试值6(小于参考集最小值12):对应分位秩为0.0

如果后续更换参考集的秩计算规则(比如取最小秩、最大秩、首次出现排序),只需要调整工具函数内的平局计数逻辑,即可保证计算口径完全统一。

大样本场景下也可以直接调用scipy.stats.percentileofscore完成等价计算,避免手写逻辑的一致性误差。


内容的提问来源于stack exchange,提问作者bls

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 05:45:05