TensorFlow二进制分类中特征列关联及数据格式问题咨询

作为TensorFlow新手处理这种带物品关联关系的分类任务，确实会遇到和入门示例不一样的挑战，我来逐个帮你拆解问题：

1. 转换后的格式存入CSV是否可行？ #

完全可行，但要注意CSV的格式细节，避免解析错误：

• 因为第三列是数组（比如[2,3]），里面的逗号会和CSV的列分隔符冲突，所以存的时候要把数组部分用双引号括起来，比如每一行写成：

  1,20,"[2,3]",1
  2,3,"[4]",1
  3,1,"[3]",0
  4,0.5,"[]",1
  

• 读取的时候，你可以用pandas.read_csv先加载数据，然后用ast.literal_eval这类工具把第三列的字符串转成整数数组；如果直接用TensorFlow的tf.data.experimental.make_csv_dataset，需要指定解析逻辑，把字符串类型的数组列转换成tf.Tensor格式的整数数组，比如用tf.strings.split配合类型转换。

2. 如何让TensorFlow知晓第三列是指向第一列的键数组？ #

TensorFlow不会自动识别这种关联关系，需要我们手动把关联关系转换成模型可利用的特征，核心思路是把关联物品的属性聚合起来作为当前样本的额外特征，具体步骤如下：

1. 先把所有物品的ID和对应的属性（这里是宽度）整理成一个可快速查询的结构，比如用tf.lookup.StaticHashTable：

   # 假设你已经把所有物品的ID和宽度整理成两个张量
   item_ids = tf.constant([1,2,3,4], dtype=tf.int32)
   item_widths = tf.constant([20.0,3.0,1.0,0.5], dtype=tf.float32)
   
   # 创建哈希表，用ID查找对应宽度
   width_table = tf.lookup.StaticHashTable(
       tf.lookup.KeyValueTensorInitializer(item_ids, item_widths),
       default_value=0.0  # 处理未匹配到的ID，比如测试集里的情况
   )
   

2. 对每个样本的关联ID数组，用哈希表查询对应的宽度，然后做聚合操作（比如均值、求和、最大值，根据任务选择合适的方式）：

   def process_associated_features(associated_ids_str):
       # 把CSV读来的数组字符串转成整数数组
       # 先去掉首尾的[]，再分割成单个ID字符串
       stripped_ids = tf.strings.strip(associated_ids_str)
       id_strings = tf.strings.split(stripped_ids[1:-1], sep=",")
       # 转成整数类型
       associated_ids = tf.strings.to_number(id_strings, out_type=tf.int32)
       # 查找对应的宽度
       associated_widths = width_table.lookup(associated_ids)
       # 聚合计算，空数组返回0.0
       return tf.reduce_mean(associated_widths) if tf.size(associated_widths) > 0 else 0.0
   

3. 把这个聚合后的特征和当前样本的宽度特征合并，一起输入到模型中训练。

这样模型就能同时利用物品自身的宽度，以及它关联物品的宽度特征了。

3. 相关资源和推荐教程 #

因为你已经掌握了基础的鸢尾花示例，接下来可以重点看这些内容：

• TensorFlow官方结构化数据教程：里面详细讲解了如何处理复杂结构化特征，包括哈希表使用、特征交叉、自定义预处理层，这对你处理关联特征非常有用
• tf.lookup模块官方文档：这个模块是处理ID映射、关联查询的核心，仔细看里面的示例，能帮你搞定ID到属性的转换逻辑
• Keras自定义预处理层教程：你可以把刚才的关联特征处理逻辑封装成一个自定义预处理层，这样可以无缝集成到Keras模型中，代码更整洁
• 图神经网络入门（可选）：如果后续你的关联关系更复杂（比如多跳关联、图结构），可以看看TensorFlow Graph Neural Networks（TF-GNN）的入门示例，不过先从前面的特征聚合入手更适合当前任务

内容的提问来源于stack exchange，提问作者Curtis Bannerman