向FeatureSet导入数据时遇No space left on device错误求助

问题重现 #

导入数据到FeatureSet时触发如下错误：

Error - Failed to save aggregation for /k78/online_detail/nosql/sets/on line_detail/0354467518.ed74fc2b
Response status code was 400: b'{\n\t"ErrorCode": -28,\n\t"ErrorMessage": "No space left on device"\n}
Update expression was: pr_ph='0354467518';id=7309877;type='r77'

使用的导入代码：

import mlrun
import mlrun.feature_store as fs
...
project = mlrun.get_or_create_project(project_name, context='./', user_project=False)
feature_set=featureGetOrCreate(True, project_name, 'sample')
...
fs.ingest(feature_set, df)

确认磁盘有充足可用空间，但仍触发该错误，以下是常见排查方向：

排查及解决方法 #

• 检查inode使用情况：Linux系统中，inode耗尽会导致磁盘空间充足但无法写入文件。执行df -i查看目标路径/k78/online_detail/所在分区的inode使用率，若已达100%，需要清理大量小文件，或联系运维调整分区的inode配置。
• 验证存储路径权限：确认运行MLRun的用户对目标路径/k78/online_detail/nosql/sets/on line_detail/有读写权限。权限不足时，写入操作会被系统拦截，可能触发空间不足的错误提示。
• 核对FeatureSet存储配置：检查FeatureSet的spec.storage配置，确认其指向的存储位置（本地路径或对象存储）实际可用空间充足。可能你检查的分区并非FeatureSet实际使用的存储分区。
• 检查临时目录空间：MLRun导入数据时会使用系统临时目录（如/tmp）处理中间数据。执行df -h /tmp查看临时分区空间，若不足则清理临时文件或扩容该分区。
• 检查用户磁盘配额：部分系统会对用户设置磁盘配额，即使磁盘整体空间充足，用户配额耗尽也无法写入。执行quota -u $(whoami)查看当前用户的配额限制，联系管理员调整。

内容的提问来源于stack exchange，提问作者JIST