TensorFlow/Keras嵌入层报错：索引超出范围问题求助

Hey there! Let's fix this index out-of-range error you're running into with your collaborative filtering model.

错误原因分析 #

你遇到的InvalidArgumentError核心问题很明确：TensorFlow的Embedding层要求输入的索引必须是从0到（词汇表大小-1）的连续整数，但你直接用了原始的movieId和userId——这些是业务场景里的非连续ID，比如报错里的88140，这个电影ID远大于你统计的电影唯一数量nmovieId（比如示例里的10000）。Embedding层只分配了对应nmovieId个向量的存储空间，自然找不到索引88140对应的向量，所以抛出了越界错误。

解决方案：对ID进行连续索引编码 #

我们需要把原始的非连续业务ID转换成从0开始的连续整数索引，这样才能完美匹配Embedding层的输入要求。这里推荐用pandas的factorize()方法，简单高效，也可以用scikit-learn的LabelEncoder，效果是一样的。

修改后的完整代码

# Install
pip install --upgrade tensorflow
# Import
import os
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from typing import Dict, Text
import tensorflow as tf
%matplotlib inline

# Ratings data.
df_ratings = pd.read_csv("ratings.csv")

# --- 关键修改：将原始ID转换为连续索引 ---
# 编码movieId为从0开始的连续整数
df_ratings['movie_idx'], _ = pd.factorize(df_ratings['movieId'])
# 编码userId为从0开始的连续整数
df_ratings['user_idx'], _ = pd.factorize(df_ratings['userId'])

# 用编码后的索引数量定义Embedding层的输入维度
nmovie_idx = df_ratings['movie_idx'].nunique()
nuser_idx = df_ratings['user_idx'].nunique()

# movie input network：使用编码后的movie_idx而非原始movieId
input_movie = tf.keras.layers.Input(shape=[1])
embed_movie = tf.keras.layers.Embedding(nmovie_idx, 15)(input_movie)
movie_out = tf.keras.layers.Flatten()(embed_movie)

# user input network：使用编码后的user_idx而非原始userId
input_users = tf.keras.layers.Input(shape=[1])
embed_users = tf.keras.layers.Embedding(nuser_idx, 15)(input_users)
users_out = tf.keras.layers.Flatten()(embed_users)

# Concatenates
conc_layer = tf.keras.layers.Concatenate()([movie_out, users_out])
x = tf.keras.layers.Dense(128, activation='relu')(conc_layer)
x_out = tf.keras.layers.Dense(1, activation='relu')(x)
model = tf.keras.Model([input_movie, input_users], x_out)

# 模型训练：传入编码后的索引列
hist = model.fit([Xtrain.movie_idx, Xtrain.user_idx], Xtrain.rating, batch_size=64, epochs=5)

额外验证步骤 #

你可以打印编码后的索引范围，确认是否符合要求：

print(f"最大电影索引: {df_ratings['movie_idx'].max()}，电影总数: {nmovie_idx}")
print(f"最大用户索引: {df_ratings['user_idx'].max()}，用户总数: {nuser_idx}")

正常情况下，最大索引应该等于总数-1，这就说明所有输入索引都在Embedding层的有效范围内了。

内容的提问来源于stack exchange，提问作者Ninlawat Phuangchoke