TensorFlow训练未完成全部Epoch即终止且无错误提示求助

背景 #

• 任务目标：基于自行生成的开角数据训练多头注意力模型，完成分类任务，核心目的是测试适配该数据的归一化方法
• 异常现象：设定训练90个epochs，但每次训练进行到15-25个epochs区间时，程序会无错误提示直接终止
• 环境验证：两种环境下均复现问题：
  • 本地环境：Windows 11 Home + WSL2（VSCode），硬件为AMD Ryzen 7 5800H、Nvidia RTX 3050 mobile、16GB RAM
  • 云端环境：Colab（搭载Python 3的Google Compute Engine GPU后端）
• 额外验证：无论是否对数据做归一化处理，问题均会出现

训练输出片段 #

Epoch 14/90
491/491 [==============================] - 60s 122ms/step - loss: 0.9339 - sparse_categorical_accuracy: 0.5995 - val_loss: 0.9894 - val_sparse_categorical_accuracy: 0.5867
Epoch 15/90
491/491 [==============================] - 60s 122ms/step - loss: 0.9312 - sparse_categorical_accuracy: 0.5992 - val_loss: 0.9819 - val_sparse_categorical_accuracy: 0.5898
116/116 [==============================] - 6s 54ms/step - loss: 0.9647 - sparse_categorical_accuracy: 0.5941

排查与解决建议 #

• 检查训练逻辑：重点查看代码中是否存在未提示的提前终止逻辑，比如误加的break语句、配置了EarlyStopping回调但未开启日志输出，导致程序静默终止
• 监控资源占用：训练过程中实时监控显存/内存使用情况，确认是否因资源耗尽被系统强制杀死进程。可在训练循环中加入内存监控代码，比如用psutil查看CPU内存，用tf.config.experimental.get_memory_info('GPU:0')（TensorFlow）或torch.cuda.memory_allocated()（PyTorch）查看显存占用
• 验证数据完整性：排查数据加载环节，是否存在某个batch数据损坏、格式异常但未触发报错的情况，可在数据加载器中添加异常捕获和日志记录，定位问题批次
• 查看系统日志：本地WSL2可通过dmesg命令或Windows事件查看器检查系统级进程终止日志；Colab可查看后台运行日志，确认是否为系统资源限制导致的进程被回收
• 简化测试验证：先将epochs数下调至20，或减小batch size运行，逐步缩小问题范围，判断是模型结构、训练循环还是数据本身的问题

内容的提问来源于stack exchange，提问作者Manish A G