如何在DataJoint文件存储中迁移文件至子目录？

核心思路 #

既要将35.5万个文件从analysis_dir根目录分散到子目录，又要同步更新DataJoint表中存储的文件路径，确保后续数据访问不受影响。

具体实施步骤 #

1. 设计子目录结构 #

选择一种能均匀分散文件的目录规则，推荐两种方案：

• 按父Nwbfile分组：利用AnalysisNwbfile关联的Nwbfile主键（如nwbfile_name）创建子目录，同一父文件的分析文件集中存放，逻辑清晰。
• 哈希前缀分组：对analysis_file_name生成哈希值（如MD5），取前2-3位作为子目录名，能均匀分散文件到不同目录，避免单目录文件过多。

2. 暂停写入操作 #

迁移期间禁止向AnalysisNwbfile插入新记录，避免出现文件路径不一致的情况。可在低峰期操作，或通知团队暂停相关数据写入任务。

3. 批量迁移文件并更新数据库 #

编写Python脚本完成文件迁移与数据库字段更新，示例代码如下：

import datajoint as dj
import os
from shutil import move
from hashlib import md5

# 初始化DataJoint连接
dj.conn()
schema = dj.Schema("your_schema_name")  # 替换为实际schema名称
AnalysisNwbfile = schema.AnalysisNwbfile
Nwbfile = schema.Nwbfile

# 方案1：按父Nwbfile主键生成子目录
def get_new_path_by_parent(old_path, nwbfile_key):
    analysis_root = dj.config["stores"]["analysis"]["location"]
    # 假设Nwbfile的主键是nwbfile_name，根据实际表结构调整
    sub_dir = os.path.join(analysis_root, nwbfile_key["nwbfile_name"])
    os.makedirs(sub_dir, exist_ok=True)
    filename = os.path.basename(old_path)
    return os.path.join(sub_dir, filename)

# 方案2：按文件名哈希前缀生成子目录
def get_new_path_by_hash(old_path):
    analysis_root = dj.config["stores"]["analysis"]["location"]
    filename = os.path.basename(old_path)
    # 取MD5哈希前2位作为子目录名
    hash_prefix = md5(filename.encode()).hexdigest()[:2]
    sub_dir = os.path.join(analysis_root, hash_prefix)
    os.makedirs(sub_dir, exist_ok=True)
    return os.path.join(sub_dir, filename)

# 遍历所有记录执行迁移
for entry in AnalysisNwbfile.fetch(as_dict=True):
    old_path = entry["analysis_file_abs_path"]
    if not os.path.exists(old_path):
        print(f"跳过不存在的文件：{old_path}")
        continue

    # 选择一种路径生成方案，注释掉另一种
    # 方案1：需要获取父Nwbfile的key
    nwb_key = {"nwbfile_name": entry["nwbfile_name"]}
    new_path = get_new_path_by_parent(old_path, nwb_key)
    
    # 方案2：哈希前缀
    # new_path = get_new_path_by_hash(old_path)

    # 移动文件并更新数据库
    move(old_path, new_path)
    AnalysisNwbfile.update1(entry, {"analysis_file_abs_path": new_path})

4. 验证迁移结果 #

• 检查analysis_dir根目录是否无残留文件，所有文件均已进入子目录。
• 随机抽取数据库记录，验证analysis_file_abs_path指向的新路径存在且能正常读取文件。
• 测试数据查询与文件读取流程，确保业务逻辑不受影响。

5. 规范后续文件写入 #

修改插入AnalysisNwbfile的业务代码，确保新文件自动写入设计好的子目录，示例逻辑：

def insert_analysis_file(analysis_file_name, nwbfile_key, description="", params=None):
    # 生成子目录路径（与迁移时的规则一致）
    analysis_root = dj.config["stores"]["analysis"]["location"]
    sub_dir = os.path.join(analysis_root, nwbfile_key["nwbfile_name"])
    os.makedirs(sub_dir, exist_ok=True)
    new_path = os.path.join(sub_dir, analysis_file_name)

    # 保存文件到new_path（此处省略文件写入逻辑）
    
    # 插入数据库记录
    AnalysisNwbfile.insert1({
        "analysis_file_name": analysis_file_name,
        "nwbfile_name": nwbfile_key["nwbfile_name"],
        "analysis_file_abs_path": new_path,
        "analysis_file_description": description,
        "analysis_parameters": params
    })

注意事项 #

• 备份优先：迁移前务必备份analysis_dir所有文件及AnalysisNwbfile表数据，避免操作失误导致数据丢失。
• 分批测试：先选择小批量文件（如10条）测试迁移流程，确认无误后再执行全量迁移。
• 后台执行：35.5万条记录的迁移耗时较长，建议用nohup或screen在后台运行脚本，避免中断。

内容的提问来源于stack exchange，提问作者Loren Frank