HADOOP节点磁盘空间不足，求可清理路径及作业运行位置

可安全清理的内容 #

根据你收到的磁盘告警信息，针对两个告警目录分别处理：

• local-dirs目录（/tmp/hadoop-User/nm-local-dir）：此目录存储YARN NodeManager为运行中作业创建的临时文件，包括容器中间数据、临时输出等。已完成或失败的作业对应的容器文件可直接删除；若不确定哪些是活跃作业文件，可先停止NodeManager服务，清空整个目录后重启，服务会自动重建必要的临时结构。
• log-dirs目录（C:/hadoop-3.3.0/logs/userlogs）：这里是YARN作业的本地运行日志。已完成的作业日志可全部删除，正在运行的作业日志会被系统锁定，删除操作会自动跳过这些文件。也可使用Hadoop自带命令yarn logs -clean（需提前配置日志清理策略）自动清理过期日志。

Hadoop作业的运行位置 #

• 临时运行数据：由YARN NodeManager管理，存放在告警提示的local-dirs（/tmp/hadoop-User/nm-local-dir）下的容器子目录，每个作业对应独立的容器文件夹。
• 最终输出结果：默认存储在HDFS分布式文件系统中，具体路径由提交作业时指定的输出参数决定（例如hdfs://namenode:9000/user/yourname/job-output），不会占用本地节点磁盘空间。
• 运行日志：本地存储在log-dirs（C:/hadoop-3.3.0/logs/userlogs），同时会同步到HDFS的远程日志目录（默认路径为/tmp/logs，可通过YARN配置项yarn.nodemanager.remote-app-log-dir查看或修改）。

内容的提问来源于stack exchange，提问作者PAJA 12