如何基于嵌套层级输入数据构建神经网络二分类模型

一、嵌套结构化数据预处理方法 #

• 别直接上来做独热（哑变量）硬编码，先顺着嵌套层级把结构捋清楚：你提供的样例是按样本id聚合的三层嵌套，第一层是type/query这类特征组，第二层是具体分类项（比如type维度下的type_a/type_b/type_c，query维度下的var1/var2/var3），第三层是每个分类项绑定的数值属性。先把每个数值对应的层级路径记清楚，比如type-type_a-val1，避免不同分类下重名的数值字段混在一起。
• 用分类嵌入替代哑变量：每个层级的分类标识单独训练嵌入向量，不要直接转成0/1稀疏向量——嵌入本身能学到不同分类项之间的关联，同时把分类项绑定的所有数值属性直接拼到对应分类项的嵌入向量后面，从根源上保留“分类-数值”的绑定关系，不会出现哑变量编码把数值和所属分类割裂开的问题。
• 变长条目做掩码对齐：如果不同样本下同一特征组的分类项数量不一样（比如有的样本type下有2个分类项，有的有4个），别硬删或者乱补，先按全数据集该组的最大条目数给不足的样本填空对象，同时生成对应的掩码矩阵标记哪些是真实条目、哪些是填充位，后续池化计算的时候自动跳过填充位就行，不会引入无效噪声。

参考输入结构（修正了原示例的JSON语法错误）：

{
  "id1": [
    {
      "type": [
        {
          "type_a": {
            "val1": 0.060,
            "val2": 0.04,
            "val3": 0.046
          }
        },
        {
          "type_b": {
            "val1": 0.086462,
            "val2": 0.53847,
            "val3": 0.3847
          }
        },
        {
          "type_c": {
            "val1": 0.06086462,
            "val2": 0.046153847,
            "val3": 0.046153847
          }
        }
      ]
    },
    {
      "query": [
        {
          "var1": {"val": 1}
        },
        {
          "var2": {"val": 2}
        },
        {
          "var3": {"val": 3}
        }
      ]
    }
  ],
  "id2": [...]
}

二、神经网络结构搭建建议 #

• 别把所有特征直接拍平成一维向量送全连接，按嵌套层级从内到外做编码聚合：最内层先处理单个分类项——分类标识过嵌入层，和它绑定的数值属性拼接后过一层小维度全连接做维度对齐，得到单个分类项的统一表征；中间层把同属一个父特征组的分类项表征做聚合，得到特征组级别的表征（比如把所有type_x的表征聚合成整个type字段组的表征）；最上层把所有顶层特征组的表征拼接起来，送后续分类头。
• 聚合优先用轻量注意力池化，别只用简单的均值/最大池化：不同分类项对最终分类结果的贡献差异很大，加一层很简单的注意力网络算每个分类项的权重，加权求和得到的组表征效果比简单池化好很多，配合之前的掩码给填充位权重赋0，还能自动过滤无效填充内容。
• 分类头不用搞太复杂：聚合完的全局表征接2层带Dropout的全连接层就行，最后一层接Sigmoid激活输出二分类概率，Dropout率设0.2-0.3防过拟合，损失函数直接用标准二分类交叉熵。

实操提示：如果某一层级的分类变量基数特别大（比如有上万个不同取值），嵌入维度取分类数开根号的量级就够，不用设太大拖慢训练速度；所有数值属性提前做标准化，避免尺度差异拖慢收敛。

内容的提问来源于stack exchange，提问作者iceman11