VS Code中Jupyter Notebook训练TensorFlow深度学习模型时出现问题

Hey Andrew, 我看到你在VS Code的Jupyter Notebook里构建并训练TensorFlow模型时遇到了问题，先帮你把给出的代码整理规范，再聊聊常见的问题排查方向～

你提供的代码整理 #

Step 1: 数据生成 #

import pandas as pd
import numpy as np

# 生成虚拟数据
np.random.seed(0)
n_products = 1000

# 虚拟类别
categories = ['electronics', 'clothing', 'home', 'sports']

# 生成随机产品数据
data = {
    'name': [f'Product[{i}]' for i in range(n_products)],
    'description': [' '.join(np.random.choice(['good', 'awesome', 'excellent', 'fantastic'], size=10)) for _ in range(n_products)],
    'price': np.random.randint(10, 1000, size=n_products),
    'category': np.random.choice(categories, size=n_products)
}

# 创建DataFrame
df = pd.DataFrame(data)
print(df.head())  # 建议用head()避免输出过多数据影响Notebook运行

Step 2: 数据预处理（你给出的部分） #

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder

常见问题排查方向 #

因为你没具体说明model.fit时弹出的错误信息，我先列几个VS Code Jupyter环境下TensorFlow训练最容易踩的坑：

• 数据类型/维度不匹配

  • TensorFlow模型只认数值型输入，你代码里的description是文本字符串，直接传入会报错，得先做Embedding或者TF-IDF转成数值特征。
  • 标签category用LabelEncoder转成整数后，如果模型用的是CategoricalCrossentropy损失函数，必须把标签再转成独热编码（可以用sklearn.preprocessing.LabelBinarizer或者tf.one_hot）；如果用SparseCategoricalCrossentropy就不用转。

• VS Code Jupyter环境问题

  • 先确认当前Jupyter内核是否装了TensorFlow：在Notebook里跑import tensorflow as tf; print(tf.__version__)，要是报错就是内核没选对，得切换到你安装TensorFlow的虚拟/conda环境。
  • 偶尔VS Code的Jupyter扩展会有缓存问题，重启VS Code或者重新连接内核试试。

• 模型结构与数据不匹配

  • 如果你同时用文本+价格作为特征，得用Functional API做多输入模型，输入层要对应各自的特征维度；要是只用价格，输入层维度设为1就行。
  • 模型最后一层的神经元数量要和类别数一致（这里是4个），多分类任务记得加softmax激活函数。

• 训练数据拆分问题

  • 拆分时要明确区分特征和标签，比如：

    # 假设用description和price做特征，category做标签
    X = df[['description', 'price']]
    y = df['category']
    
    # 标签编码
    le = LabelEncoder()
    y_encoded = le.fit_transform(y)
    
    # 拆分数据集
    X_train, X_test, y_train, y_test = train_test_split(X, y_encoded, test_size=0.2, random_state=42)
    

快速测试建议 #

你可以先做个小测试定位问题：

1. 暂时去掉文本特征，只用price训练一个简单模型，看model.fit能不能正常跑，排除文本处理的问题。
2. 打印y_train的形状和类型，确认和模型输出维度匹配。
3. 如果还是报错，把完整的错误信息贴出来，这样能更精准解决问题～

备注：内容来源于stack exchange，提问作者Andrew Sanchez