如何用Julia DataFrames单transform实现数据列归一化（映射至±1）

直接用单个transform操作即可解决你遇到的两个问题，核心是利用匿名闭包捕获整个DataFrame上下文，同时在闭包内复用局部计算的均值：

using DataFrames, Statistics

# 示例数据（替换为你的实际DataFrame）
df = DataFrame(
    sec = repeat(["t", "b"], inner=5),
    val1 = randn(10),
    val2 = randn(10),
    val3 = randn(10)
)

# 单步transform完成归一化（原地修改用transform!，返回新表用transform）
transform!(df,
    # 指定需要归一化的列（这里是val1、val2、val3，可按需调整）
    [:val1, :val2, :val3] .=>
    # 对每个列应用归一化闭包
    (col -> begin
        # 1. 访问sec列筛选top/bottom数据，计算均值
        t_mean = mean(col[df.sec .== "t"])
        b_mean = mean(col[df.sec .== "b"])
        
        # 2. 复用局部变量计算缩放和偏移参数（推导见下文）
        scale = 2 / (t_mean - b_mean)
        offset = 1 - scale * t_mean
        
        # 3. 执行归一化转换
        scale .* col .+ offset
    end) .=>
    # 指定归一化后的列名（可自定义）
    [:val1_norm, :val2_norm, :val3_norm]
)

关键说明 #

• 访问sec列：闭包内部可以直接引用整个df对象，因此能通过df.sec .== "t"筛选top组数据，解决无法访问sec列的问题。
• 复用局部均值：在闭包内计算t_mean和b_mean作为局部变量，后续直接用于缩放和偏移计算，避免重复计算。
• 归一化公式推导：我们需要线性变换y = scale * x + offset满足：
  • 当x = t_mean时，y = 1
  • 当x = b_mean时，y = -1
    解方程组可得scale = 2/(t_mean - b_mean)，offset = 1 - scale*t_mean，确保两组均值精准映射到目标值。

内容的提问来源于stack exchange，提问作者Mark Norris