Julia DataFrame行中位数计算优化及相关技术疑问

1. 提升运行速度的方案 #

你的safemedian可以通过以下方式优化性能：

• 借助StatsBase包内置的median函数，它支持skipnan关键字参数，底层是经过优化的实现，比手动调用filter更高效；
• 移除不必要的collect操作，减少内存分配开销。

优化后的代码示例：

using DataFrames, StatsBase

df = DataFrame(rand(100, 10), :auto) 
df[1, :x3] = NaN
df[20, [:x3, :x6]] .= NaN
df[5, :] .= NaN

# 优化后的safemedian
safemedian(y) = all(isnan, y) ? NaN : median(y; skipnan=true)
# 直接传递行向量，无需collect转换命名元组
x = select(df, AsMatrix(:) => ByRow(safemedian) => "median")

如果数据量较大，还可以跳过逐行处理的额外开销，直接对矩阵进行行中位数计算：

mat = Matrix(df)
# 转置后按列计算中位数，等价于原矩阵的行中位数
medians = [median(col; skipnan=true) for col in eachcol(mat')]
df[!, "median"] = medians

2. 传递行向量而非命名元组 #

可以直接用AsMatrix(:)替代AsTable(:)，这样ByRow接收的就是每一行的向量，无需通过collect转换命名元组：

x = select(df, AsMatrix(:) => ByRow(safemedian) => "median")

另外也可以用eachrow迭代器配合Vector转换，直接处理行向量：

medians = map(safemedian, Vector.(eachrow(df)))
df[!, "median"] = medians

3. Missing vs NaN的惯用写法 #

在Julia中，使用Missing表示数据缺失更符合惯用写法，原因如下：

• Missing是Julia原生的缺失值类型，专门用于表示数据的缺失状态，语义更清晰；而NaN是浮点数的特殊值，更多用于表示数值计算中的无效结果（比如0/0）。
• Missing支持多类型兼容，比如Vector{Union{Int, Missing}}可以同时存储整数和缺失值，而NaN仅适用于浮点类型。
• 生态工具对Missing的支持更完善，比如skipmissing函数可以统一处理缺失值，而处理NaN需要单独使用skipnan参数，且仅适用于浮点类型。

如果要将现有NaN替换为Missing类型，可参考以下代码：

# 将所有NaN替换为Missing
df = coalesce.(df, missing)
# 计算行中位数，跳过Missing值
safemedian_missing(y) = all(ismissing, y) ? missing : median(skipmissing(y))
medians = map(safemedian_missing, eachrow(df))

内容的提问来源于stack exchange，提问作者AUK1939