如何在Flux.jl框架中实现多标签分类任务？

你推测的使用自定义Split层的方案是可行的，针对多标签分类的适配需求，你可以根据自身场景选择以下两种实现方案：

• 输出层调整：普通单标签分类用softmax激活保证所有类别概率和为1，多标签场景需将输出层激活替换为sigmoid，每个输出节点对应单个类别的独立存在概率，取值范围0~1，节点之间互不影响，可完美体现类别重叠特性。
  实际使用中推荐直接输出logits无需手动加sigmoid层，配合带logits的损失函数可获得更好的数值稳定性。
• 损失函数调整：直接使用Flux内置的logitbinarycrossentropy作为损失函数，等价于PyTorch中的BCEWithLogitsLoss，适配多标签分类场景。
• 标签格式调整：将原单标签场景的独热编码改为多热编码，每个样本对应长度等于总类别数的向量，样本属于的类别对应位置标记为1，其余为0，允许单个样本同时有多个标记为1的位置。

示例代码如下：

# 示例模型：输入特征维度128，总类别数为8的多标签分类模型
model = Chain(
  Dense(128, 64, relu),
  Dropout(0.2),
  Dense(64, 8) # 直接输出logits，无需加sigmoid
)

# 损失函数定义，y为多热编码标签
loss(y_pred, y) = mean(Flux.logitbinarycrossentropy.(y_pred, y))

如果你需要给不同类别的预测分支添加独立的正则化、特征变换等操作，可以使用Split层拆分不同类别的预测路径，具体操作如下：

• 首先实现标准的Split自定义层，功能是将上层输出的特征分别传入多个独立的处理分支
• 为每个类别定义独立的预测分支，所有分支的损失累加得到总损失

示例代码如下：

# 自定义Split层实现
struct Split{T}
  paths::T
end
Split(paths...) = Split(paths)
Flux.@functor Split
(m::Split)(x) = map(f -> f(x), m.paths)

# 示例模型：8个类别各对应一个独立的预测分支
model = Chain(
  Dense(128, 64, relu),
  Dropout(0.2),
  # 拆分8个独立分支，每个分支输出单个类别的预测logits
  Split([Dense(64, 1) for _ in 1:8]...)
)

# 损失函数定义：拼接所有分支的输出后计算二分类交叉熵
loss(y_pred, y) = mean(Flux.logitbinarycrossentropy.(hcat(y_pred...), y))

• 若你仅需要处理类别重叠问题，无需对不同类别做差异化的模型设计，直接选择方案1即可，代码简洁且运行效率更高
• 若你需要针对不同类别做独立的特征适配、正则化约束等特殊操作，再选择方案2的Split层实现

内容的提问来源于stack exchange，提问作者logankilpatrick