DataJoint中octo_store未关联Blob清理方法及delete()功能咨询

核心功能答疑 #

schema.external['octo_store'].delete(delete_external_files=True) 仅删除未关联（无DataJoint表记录引用）的Blob文件，不会删除仍被表数据关联的文件。

清理未使用Blob的完整步骤 #

• 第一步：扫描标记待清理文件
  先运行命令：

  schema.external['octo_store'].cleanup()
  

  这个操作会遍历S3存储里的所有Blob，对比DataJoint内部的外部文件引用表，标记出没有任何表记录关联的文件，生成待清理清单（仅标记，不删除）。

• 第二步：确认待清理内容（可选但推荐）
  可以查看DataJoint生成的待清理记录（对应版本的临时表或日志），确认要删除的文件范围，避免误删有效数据。

• 第三步：执行实际删除
  运行命令：

  schema.external['octo_store'].delete(delete_external_files=True)
  

  这一步会把之前标记的未关联Blob从S3中删除，同时清理DataJoint内部的无效引用记录。

关于delete()方法的细节说明 #

• 默认delete_external_files=False：只删除DataJoint内部的无效引用记录，不会触动S3上的实际文件。
• 当delete_external_files=True：同步完成两个操作——清理内部无效记录，且仅删除S3中无表关联的Blob，有表记录引用的文件会被保留。

额外注意事项 #

• 清理前建议备份S3中的Blob数据，防止意外丢失。
• 定期重新计算结果后，要先删除旧结果对应的表数据（比如用drop()或delete()操作过时表），这样旧结果的Blob才会被标记为未关联，进入清理范围。
• 确保运行命令的环境有S3的读写权限（比如正确配置AWS密钥或IAM角色）。

内容的提问来源于stack exchange，提问作者Horst