TensorFlow日志占满Ubuntu服务器磁盘，如何防止磁盘被耗尽？

这问题我日常运维TensorFlow训练任务时碰到过好多次，默认配置下TensorBoard的日志会无限制累积，很容易把磁盘撑爆。咱们分两步解决：先救急释放空间，再长期预防。

一、先清理现有日志，释放磁盘空间 #

首先得把占满的空间腾出来：

• 找到你的TensorBoard日志目录：就是你启动TensorBoard时--logdir参数指定的路径，或者代码里tf.summary.create_file_writer()设置的目录。
• 快速清理所有旧日志（注意：如果有需要保留的历史日志，别用这个）：

  rm -rf /path/to/your/tensorboard/logs/*
  

• 更稳妥的方式：只删除7天前的旧日志，保留近期的：

  find /path/to/your/tensorboard/logs -type f -mtime +7 -delete
  

• 执行完后用df -h确认根目录的空间已经释放，Tab补全应该就能正常用了。

二、长期预防：让TensorFlow不再无限占用磁盘 #

有几个实用的方法，根据你的需求选：

1. 用TensorFlow内置的日志循环功能（推荐） #

从TensorFlow 2.4版本开始，官方支持了日志文件的大小限制和自动覆盖，不用改太多代码就能实现：

import tensorflow as tf

# 创建日志写入器时设置大小限制和自动循环
writer = tf.summary.create_file_writer(
    logdir="./tensorboard_logs",
    experimental_max_file_size=100*1024*1024,  # 单个日志文件最大100MB
    experimental_recycle_if_full=True  # 当文件满了自动覆盖最旧的日志
)

这样单个日志文件不会超过你设定的大小，满了就自动循环覆盖旧内容，不会无限膨胀。

2. 用系统定时任务定期清理 #

如果不想修改代码，直接用Linux的cron定时任务自动清理旧日志：

• 编辑定时任务：

  crontab -e
  

• 添加一行规则（比如每天凌晨2点删除7天前的日志）：

  0 2 * * * find /path/to/your/tensorboard/logs -type f -mtime +7 -delete
  

• 保存退出后，cron会自动后台执行这个清理任务，不用手动管。

3. 减少不必要的日志记录 #

有时候日志过大是因为记录了太多冗余内容：

• 降低记录频率：比如每10步记录一次指标，而不是每一步都记录：

  if step % 10 == 0:
      tf.summary.scalar("train_loss", loss, step=step)
  

• 关闭非必要的记录项：比如不需要的直方图、图像日志，只保留关键的标量（损失、准确率等）。

4. 迁移日志到更大的磁盘 #

如果服务器有其他挂载的大容量磁盘，可以把TensorBoard日志目录移过去：

• 比如你的服务器挂载了/data大磁盘，就把日志路径改成/data/tensorboard_logs
• 启动TensorBoard时指定新路径：

  tensorboard --logdir=/data/tensorboard_logs
  

内容的提问来源于stack exchange，提问作者Herman Wilén