如何通过Slurm的sbatch调度Rsync数据传输？域名解析报错求解

问题原因 #

手动在登录节点执行ssh user_name@server正常，但Slurm任务提交到计算节点后，计算节点的DNS配置与登录节点不一致，导致无法解析目标服务器的hostname，进而触发ssh和rsync的报错。

解决方案 #

1. 使用目标服务器的IP地址替代hostname #

直接绕过DNS解析，在rsync命令中用IP地址替换域名：

# 修改原脚本中的rsync命令
rsync -avzr --progress $src_path username@192.168.1.100:$dest_path

替换192.168.1.100为目标服务器的实际IP地址

2. 手动添加hostname-IP映射（无root权限也可实现） #

如果无法直接使用IP，可在脚本中临时设置自定义hosts映射：

# 在脚本的SBATCH配置后、rsync命令前添加以下内容
# 创建自定义hosts文件
echo "x.x.x.x server.edu server" > ~/slurm_hosts
# 让ssh/rsync优先使用这个映射
export HOSTALIASES=~/slurm_hosts

替换x.x.x.x为目标服务器IP，server.edu和server为报错中的hostname

若拥有计算节点的root权限，也可直接修改/etc/hosts文件，添加同样的映射行，实现一劳永逸的解析。

3. 指定任务在登录节点执行（应急方案） #

如果计算节点无法修改DNS或hosts配置，可临时让Slurm任务在能正常解析域名的登录节点运行：

# 在SBATCH配置中添加节点指定
#SBATCH --nodelist=your-login-node-name

注意：登录节点通常不用于运行任务，此方法仅作为临时应急，避免影响其他用户使用登录节点

额外脚本修正 #

原脚本中rsync命令的目标路径写死为/dest_path，但上方已定义dest_path=/destination/path/变量，建议改为使用变量，避免路径错误：

rsync -avzr --progress $src_path username@server:$dest_path

内容的提问来源于stack exchange，提问作者user1439599