Julia中如何实现Python Pandas按列多索引层级选择数据的等效操作

我太懂这种感受了——习惯了Pandas里用MultiIndex处理列的便捷操作，刚转到Julia时确实会有点摸不着头绪。别担心，我这就用Julia的DataFrames.jl和CSV.jl生态，一步步帮你实现你给出的Python代码的等效功能，从生成数据到分组迭代全流程搞定！

1. 准备工作：安装并导入所需包 #

首先确保你已经安装了必要的工具包，如果没装的话先运行这段代码安装：

using Pkg
Pkg.add(["DataFrames", "CSV", "Random"])

然后导入我们需要的包：

using DataFrames, CSV, Random

2. 生成带多列索引的样本数据 #

对应你Python里生成数据并构造MultiIndex列的部分，Julia里可以这样实现：

# 设置随机种子保证结果可复现
Random.seed!(123)

nsmpls = 10
smpls = ["smpl$j" for j in 0:nsmpls-1]

nfeats = 5
feats = ["feat$j" for j in 0:nfeats-1]

# Julia默认是列优先数组，所以先按(样本数, 特征数)生成数据，之后转置
data = rand(nsmpls, nfeats)

countries = vcat(fill("France", 2), fill("UK", 3), fill("US", 5))

# 用Tuple组成的向量模拟Pandas的MultiIndex列名
col_names = collect(zip(countries, smpls))

# 构造DataFrame：转置数据让特征作为行，然后设置列名和行标识列
df = DataFrame(transpose(data), :auto)
rename!(df, col_names)
df[!, :feat] = feats
select!(df, :feat, :) # 把feat列移到最前面作为行索引标识

3. 将数据保存为TSV文件 #

这一步和Pandas操作很像，用CSV.write就能完成：

CSV.write("./data.tsv", df, delim='\t')

4. 加载带多列索引的TSV文件 #

加载时需要指定读取前两行作为列的层级，再把它们组合成Julia版的多列索引：

# 读取数据，指定前两行作为表头层级，第一列是行标识
raw_df = CSV.read("./data.tsv", DataFrame, delim='\t', header=1:2)

# 把前两行的表头组合成Tuple形式的多列索引
col_tuples = [Tuple(col) for col in eachcol(raw_df[1:2, :])]
# 提取实际数据部分并设置多列索引
df = DataFrame(raw_df[3:end, :], col_tuples)
# 恢复行标识列
df[!, :feat] = raw_df[3:end, 1]
select!(df, :feat, :)

5. 按层级提取子集（对应Pandas的xs操作） #

要提取France对应的列子集，用select配合筛选条件就能轻松实现：

# 筛选列名第一个元素是"France"的列
dg = select(df, :feat, Cols(x -> x[1] == "France"))
# 查看结果形状，对应Python的print(dg.shape)
println(size(dg))

6. 按层级分组迭代（对应Pandas的groupby） #

我们可以先把列名的国家层级提取出来，整理成分组后再迭代处理：

# 提取所有数据列的国家层级（排除feat列）
country_cols = [col[1] for col in names(df)[2:end]]
# 按国家分组列名
groups = Dict()
for (country, col) in zip(country_cols, names(df)[2:end])
    if !haskey(groups, country)
        groups[country] = []
    end
    push!(groups[country], col)
end

# 迭代每个分组，对应Python的groupby循环
for (country, cols) in groups
    println("#samples: $(length(cols))")
    # 如果需要处理分组数据，可以用 df[:, vcat(:feat, cols)] 提取
end

或者更简洁的写法：

# 提取所有唯一的国家分组键
group_keys = unique([col[1] for col in names(df)[2:end]])
for key in group_keys
    selected_cols = [col for col in names(df)[2:end] if col[1] == key]
    group_data = select(df, :feat, selected_cols)
    println("#samples: $(size(group_data, 2)-1)") # 减去feat列的数量
end

备注：内容来源于stack exchange，提问作者Roger V.