NiFi FetchSFTP拉取文件成功但远程重命名报SFTPException

问题本质 #

首先明确：报错发生时文件内容已经被FetchSFTP成功拉取到NiFi，数据流传输本身没有中断，故障出在拉取完成后的源文件后置处理环节。
报错栈明确指向拉取成功后执行源文件重命名动作时，收到SFTP服务端返回的通用失败响应，没有返回具体错误码，这类问题90%以上是服务端权限、配置冲突或者协议兼容问题，和NiFi服务本身运行状态无关。

常见触发原因 #

• FetchSFTP配置的「完成策略」选择了重命名源文件，但当前使用的SFTP账号对源目录/data1/dw/ftpuser/Varicent_Files/ICM_CC/没有写入/重命名权限——之前运行正常大概率是近期服务端做了权限收敛，收回了业务账号的目录写权限
• 配置的重命名目标文件已存在，或者重命名路径配置为跨目录路径，触发服务端重命名冲突
• 源端目标文件正被其他业务进程写入、加锁，SFTP服务端禁止对锁定状态的文件执行改名/删除操作
• 对端SFTP服务端版本过旧，和NiFi默认使用的sshj客户端的标准重命名指令不兼容，直接返回无明细的Failure错误

修复步骤 #

1. 快速止血配置
   打开FetchSFTP处理器配置页，找到Completion Strategy（完成策略）配置项：
   • 如果业务不需要对源端已拉取的文件做改名标记，直接把策略改为None，保存后处理器不会再触发重命名逻辑，报错立即消失
   • 如果业务要求拉取后删除源文件，确认账号有删除权限的前提下可以把策略改为Delete File
   • 如果业务必须保留源文件改名标记（比如拉完加.COMPLETED后缀），继续往下排查
2. 手动校验账号权限
   使用和NiFi配置完全一致的账号、认证方式（密码/密钥），在命令行手动连接SFTP测试重命名能力：

sftp -P 22 ftpuser@etl12.kw.zain.com
# 登录后切换到源文件目录
cd /data1/dw/ftpuser/Varicent_Files/ICM_CC/
# 手动执行重命名测试
rename cfgcampaign_2022-06-25.csv cfgcampaign_2022-06-25.csv.TEST

• 若这一步返回Permission denied，直接联系SFTP服务端管理员，给当前账号开放对应目录的重命名/写入权限即可
• 若手动重命名成功，检查NiFi内FetchSFTP的重命名规则配置：确认Rename Prefix/Rename Suffix配置的目标文件在当前源目录下，不要配置跨目录重命名（多数SFTP服务端不支持跨目录rename操作），同时确认目标文件名没有和目录下已有文件重名

3. 排查文件锁问题
   登录对端SFTP服务器，执行命令检查目标文件是否被其他进程占用锁定：

lsof /data1/dw/ftpuser/Varicent_Files/ICM_CC/cfgcampaign_2022-06-25.csv

如果命令返回其他进程占用文件，说明文件还在写入过程中就被ListSFTP扫描到触发拉取，等文件写入完成锁释放后重命名就会正常；也可以调大ListSFTP的轮询间隔、配置文件最小存在时间阈值，避免拉取还在写入的半成文件。
4. 协议兼容修复
如果前面校验权限正常、文件也没有锁，就是sshj客户端和旧版SFTP服务端协议不兼容，可以在FetchSFTP配置里关闭Use Compression选项，高版本NiFi可以直接把SFTP客户端实现从默认的sshj切换为jsch，保存配置重启处理器即可。

内容的提问来源于stack exchange，提问作者bentech4u