如何将CSV内的变长列表数据导入TensorFlow的indicator_column特征

我来帮你搞定这个问题——从CSV里提取变长列表数据并适配TensorFlow的indicator_column其实不难，核心就是两步：把CSV里的字符串格式列表转成模型能识别的整数列表，再把这个变长列表适配到你定义的特征列中。下面是一步步的实操方法：

1. 确认特征列定义（你已完成的部分，再明确下细节） #

假设你的变长列表列名为category_ids，先确保特征列的定义是正确的：

import tensorflow as tf

# 基于词汇文件定义分类特征列
cat_column = tf.feature_column.categorical_column_with_vocabulary_file(
    key='category_ids',
    vocabulary_file='path/to/your/vocab.txt',  # 替换成你的词汇文件路径
    vocabulary_size=6,  # 按你词汇文件里的实际数量调整
    dtype=tf.int32
)

# 转换为多热编码的indicator列
indicator_cat_column = tf.feature_column.indicator_column(cat_column)

2. 加载并预处理CSV数据 #

CSV里的category_ids是带引号的字符串（比如"[10, 20]"），得先把它解析成整数列表，这里用tf.data处理最顺手：

步骤2.1：解析CSV每行数据 #

def parse_csv_line(line):
    # 定义CSV各列的默认值，对应你的样本结构：name, gender, age, category_ids, value, label
    defaults = [[''], [''], [0], [''], [0.0], [0]]
    parsed_line = tf.io.decode_csv(line, record_defaults=defaults)
    
    # 打包特征字典，单独提取标签
    features = dict(zip(['name', 'gender', 'age', 'category_ids', 'value'], parsed_line[:-1]))
    label = parsed_line[-1]
    
    # 重点处理category_ids：把字符串列表转成整数列表
    cleaned_str = tf.strings.regex_replace(features['category_ids'], r'^\[|\]$', '')  # 去掉首尾的[]
    split_str = tf.strings.split(cleaned_str, sep=', ')  # 按逗号分割成单个字符串
    features['category_ids'] = tf.strings.to_number(split_str, out_type=tf.int32)  # 转成整数类型
    
    return features, label

# 加载CSV文件
dataset = tf.data.TextLineDataset('path/to/your/train.csv')
dataset = dataset.skip(1)  # 跳过CSV表头（如果有的话）
dataset = dataset.map(parse_csv_line)  # 批量解析每行
dataset = dataset.batch(32)  # 设置批量大小，按需调整

步骤2.2：适配特征列的输入要求 #

因为indicator_column需要稀疏张量（SparseTensor）或密集张量作为输入，而我们处理后的category_ids是变长列表，所以用RaggedTensor过渡后转成SparseTensor，再配合DenseFeatures处理：

# 定义模型输入层，变长列表用ragged tensor接收
inputs = {
    'name': tf.keras.Input(shape=(), dtype=tf.string),
    'gender': tf.keras.Input(shape=(), dtype=tf.string),
    'age': tf.keras.Input(shape=(), dtype=tf.int32),
    'category_ids': tf.keras.Input(shape=(None,), dtype=tf.int32, ragged=True),
    'value': tf.keras.Input(shape=(), dtype=tf.float32)
}

# 将ragged tensor转成sparse tensor，适配DenseFeatures要求
category_sparse = inputs['category_ids'].to_sparse()
processed_cat = tf.keras.layers.DenseFeatures([indicator_cat_column])({'category_ids': category_sparse})

# 处理其他特征（示例，按需调整）
processed_age = tf.keras.layers.Reshape((1,))(inputs['age'])
processed_value = tf.keras.layers.Reshape((1,))(inputs['value'])

# 拼接所有特征
concat_features = tf.keras.layers.concatenate([processed_cat, processed_age, processed_value])

# 构建后续模型层（示例为二分类任务）
dense1 = tf.keras.layers.Dense(64, activation='relu')(concat_features)
output = tf.keras.layers.Dense(1, activation='sigmoid')(dense1)

model = tf.keras.Model(inputs=inputs, outputs=output)
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# 启动训练
model.fit(dataset, epochs=10)

关键注意事项 #

• 词汇文件格式：确保你的vocabulary_file里每个整数单独占一行，比如：

  10
  20
  32
  44
  5
  1212
  

  因为categorical_column_with_vocabulary_file默认读取每行作为一个词汇。
• OOV处理：如果样本里有词汇表外的整数，可以在定义分类列时添加num_oov_buckets=1，让OOV值映射到单独的桶里。
• 变长数据规范：用RaggedTensor或SparseTensor处理变长列表是TensorFlow的标准做法，避免手动填充固定长度带来的资源浪费。

内容的提问来源于stack exchange，提问作者Iman Irajian