在git annex copy过程中解析仓库外部符号链接的需求

问题概述 #

我在Git Annex仓库中使用了指向其他挂载卷的跨文件系统符号链接，希望Annex将这些链接指向的文件当作普通Annex文件处理，但git annex copy命令完全忽略了它们。想确认Git Annex是否支持追踪这类跨文件系统符号链接，同时注意到git-annex-import似乎能实现预期行为。

环境与验证步骤 #

1. 跨文件系统符号链接信息 #

需要处理的是无法替换为硬链接的跨文件系统符号链接：

cd /Volumes/Phillips/mMR_PETDA/scripts/bids/datalad-bids/ds002385
readlink sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz
# 输出：/Volumes/Hera/preproc/petrest_rac1/brnsuwdktmp_rest/10195_20160317/func.nii.gz

2. Git追踪状态验证 #

该符号链接已被Git追踪，但未被Annex识别：

git log --oneline -- sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz 
# 输出：3f987f1 bold: fix session (replace date with timepoint)

# 尝试添加到Annex
git annex add sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz
git annex status
# 输出：empty（无任何状态反馈）

3. Annex无法处理的表现 #

该符号链接无Annex操作日志，也无法被复制到远程仓库：

git annex copy sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.json --to openneuro --verbose
# 输出：empty（无复制操作反馈）

git annex log -- sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz
# 输出：empty（无Annex操作日志）

4. 正常工作的文件对比 #

仓库内的普通小文件可被Annex正常处理：

git log --oneline -- sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz
# 输出：2f3e00e fix sub-11299_ses-1 t1

git annex copy sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz --to openneuro --verbose
# 输出：copy sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz ok

git annex log -- sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz | cat
# 输出：+ Fri, 14 Apr 2023 15:08:33 EDT sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz | 9b0d89bd-119d-4867-9997-98d11bd6842c -- [openneuro]

5. MD5与Annex对象验证 #

通过MD5校验确认，符号链接指向的文件未被纳入Annex对象库：

md5sum sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz
# 输出：
# 11de4921c66bb02d15c89da4d4e6b27e  sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz
# 34238205862fac51273b57fa44beec62  sub-11299/ses-1/anat/sub-11299_ses-1_acq-1ADNIG2_T1w.nii.gz

# 检查符号链接目标是否在Annex对象中
find .git/ -name 'MD5E-*11de4921c66bb02d15c89da4d4e6b27e*' -print -quit
# 输出：无结果

# 检查正常文件是否在Annex对象中
find .git/ -name 'MD5E-*34238205862fac51273b57fa44beec62*' -print -quit
# 输出：.git/annex/objects/4M/gZ/MD5E-s10792493--34238205862fac51273b57fa44beec62.nii.gz

# 查看Annex对象目录结构
tree .git/annex/objects
# 输出：
.git/annex/objects
└── 4M
    └── gZ
        └── MD5E-s10792493--34238205862fac51273b57fa44beec62.nii.gz
            └── MD5E-s10792493--34238205862fac51273b57fa44beec62.nii.gz

解决方案 #

Git Annex默认不会将外部符号链接（指向仓库外的文件）当作Annex文件处理，因为它核心是管理仓库内可控的文件内容。要实现需求，有两种可行方式：

1. 使用git annex import（匹配你观察到的行为） #

该命令会将外部文件的内容复制到Annex对象库，同时将原符号链接替换为Annex内部链接，之后即可正常使用git annex copy：

git annex import /Volumes/Hera/preproc/petrest_rac1/brnsuwdktmp_rest/10195_20160317/func.nii.gz --dest sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz

2. 使用git annex add --external（适合批量或不复制大文件的场景） #

该参数会让Annex将外部符号链接指向的文件标记为外部存储文件，仅记录引用而不复制内容，之后可通过git annex copy同步到其他远程：

git annex add --external sub-10195/ses-1/func/sub-10195_ses-1_task-rest_run-1_bold.nii.gz

注意：需确保Annex配置允许外部存储，且目标文件有正常访问权限。

关键说明 #

• Git Annex默认只管理仓库内的实际文件或自身生成的内部符号链接，外部符号链接因目标不受仓库控制，不会被自动识别。
• import会将文件完全纳入仓库管理，--external则保留外部文件位置，可根据存储需求选择。

内容的提问来源于stack exchange，提问作者Will