TensorFlow搭建自定义文本Embedding网络时出现DatasetV1Adapter不可下标访问报错

参考的数据集结构 #

当前直接触发的报错根因 #

报错指向word_index = training_dataset['query'].get_word_index()这一行，本质是两个逻辑错位叠加：

• training_dataset是tf.data.Dataset.from_tensor_slices生成的DatasetV1适配对象，本身不支持按字段名做下标索引（也就是不支持['query']这种取值语法），和pandas DataFrame的索引逻辑完全不通用
• get_word_index()是Keras内置IMDB数据集的专属方法，自有的Dataset对象上根本不存在这个方法，这段逻辑是从官方IMDB示例直接硬搬过来的，没有适配自有数据集的场景

其他连带的隐藏问题（修复完当前报错后还会陆续触发） #

• 版本导入冲突：代码同时导入了正式版TensorFlow和tensorflow.compat.v1，手动关闭v2行为又开启eager执行，API逻辑混乱
• 流程顺序颠倒：先封装成TensorFlow Dataset，再反过来从Dataset里取文本列构建词表，正确流程应该是先从原始pandas数据里提取文本语料、构建词表、完成文本序列转换，最后再封装成Dataset
• 变量未定义：代码中train_data、test_data、train_labels等变量没有从原始DataFrame中拆分赋值，直接传入pad_sequences和model.fit会触发NameError
• 模型结构不匹配：原始数据集除了文本列还有user、weight等数值特征，但现有Sequential模型仅适配单文本输入，没有接入数值特征的通路
• 预处理方法错配：keras.preprocessing.sequence.pad_sequences仅支持输入已经转换为整数索引的序列，直接传入原始字符串文本无法正常工作

具体修改方案 #

• 统一TensorFlow API逻辑：删掉重复的v1兼容导入，直接使用TensorFlow 2.x稳定API，去掉tf.disable_v2_behavior()的手动配置，避免版本逻辑冲突
• 调整预处理流程顺序：
  • 先从原始pandas的文本列（query、word）出发，用tf.keras.layers.TextVectorization层自动构建词表，替代手动字典映射的逻辑，自动处理分词、OOV样本、固定长度截断
  • 拆分原始数据集为训练集、测试集，将所有特征（数值列、文本列）、标签拆分为独立的张量/数组变量
• 调整模型结构适配多输入：
  • 文本输入支路：TextVectorization输出 -> Embedding层 -> 全局池化层
  • 数值输入支路：user、weight列 -> 全连接层
  • 两个支路输出拼接后，接输出层完成二分类任务
• 将预处理完成的多输入特征、对应标签传入model.fit完成训练

内容的提问来源于stack exchange，提问作者Nassima