按指定大小切分数组计算均值差及PSI的Julia实现方案咨询

核心逻辑实现 #

1. 分组生成函数 #

功能：将输入数组切分为连续不重叠、大小为N的分组，不足N的尾部元素自动舍弃

function split_continuous_groups(arr::AbstractArray, N::Int)
    # 计算可被N整除的有效长度
    valid_count = div(length(arr), N)
    valid_len = valid_count * N
    # 用@view生成视图避免数据拷贝，适合大数据量，不需要的话可以去掉@view
    groups = [@view arr[(i-1)*N + 1 : i*N] for i in 1:valid_count]
    return groups
end

2. 相邻分组指标计算函数 #

功能：接收分组列表与自定义指标函数，遍历计算相邻两组的指标值

function calc_adjacent_metric(groups::AbstractArray, metric::Function)
    res = [metric(groups[i], groups[i+1]) for i in 1:length(groups)-1]
    return res
end

示例验证（均值差场景） #

先定义均值差计算函数：

mean_diff(a::AbstractArray, b::AbstractArray) = mean(a) - mean(b)

测试N=2场景：

arr = [1,2,3,4,5,6,7,8,9,10]
groups = split_continuous_groups(arr, 2)
# 输出为 [-2.0, -2.0, -2.0, -2.0]，和预期一致
res = calc_adjacent_metric(groups, mean_diff)

测试N=3场景：

groups = split_continuous_groups(arr, 3)
# 输出为 [-3.0, -3.0]，和预期一致
res = calc_adjacent_metric(groups, mean_diff)

PSI场景适配 #

你只需要将上面的mean_diff函数替换为你自己实现的PSI计算函数即可，示例PSI函数模板如下：

function calculate_psi(expected::AbstractArray, actual::AbstractArray; bins=10)
    # 此处替换为你原Python实现的PSI逻辑即可，Julia数组操作和Python语法高度相似
    # 分箱、计算各箱占比、计算PSI值的逻辑直接平移即可
end

调用的时候直接传入PSI函数即可：

res = calc_adjacent_metric(groups, calculate_psi)

数据流场景优化 #

如果是处理10k级以上的流式数据，不需要全量加载数组，可以采用流式滑窗处理，内存占用仅需要存储两个分组的数据：

function stream_calc_psi(data_stream, N::Int, psi_func::Function)
    res = []
    prev_group = nothing
    # 每次从数据流读取N条数据，这里的data_stream可替换为你的数据流读取接口
    for current_group in Iterators.partition(data_stream, N)
        if !isnothing(prev_group)
            push!(res, psi_func(prev_group, current_group))
        end
        prev_group = current_group
    end
    return res
end

内容的提问来源于stack exchange，提问作者Katty_one