使用pysftp/paramiko递归处理SFTP文件时反复执行cwd、listdir报No such file错误
报错核心触发原因
这个FileNotFoundError和源目录是否存在无关,是相对路径与会话工作目录不匹配导致的路径拼接错误,完整逻辑链如下:
- pysftp默认以登录用户的家目录为初始工作目录,所有相对路径的访问都会基于当前工作目录拼接为绝对路径
- 代码中在匹配到目标文件时,直接调用
sftp.cwd(SOURCE_FOLDER)修改了当前sftp会话的工作目录,将目录永久切换到了SOURCE_FOLDER对应的路径下,这个修改不会自动复原 - 后续执行
sftp.listdir(SOURCE_FOLDER)时,传入的是相对形式的路径(类似somefolder/out/),会和当前已经被修改的工作目录拼接成不存在的嵌套路径(比如/home/agent/somefolder/out/somefolder/out/),服务器找不到这个路径就会抛出FileNotFoundError - 单文件测试时未触发报错,是因为单文件场景下通常不会进入需要修改工作目录的处理分支,
listdir调用时的工作目录还是初始家目录,路径拼接正确;一旦匹配到符合条件的文件触发目录切换,后续的listdir路径就会失效。
连带的代码设计隐患
- 冗余连接开销:代码中先后无意义测试1次连接、外层开1次sftp连接、处理文件时再嵌套开1次sftp2连接,同一个流程总共建立3次SFTP连接,不仅效率低下,还容易触发服务器单账号最大连接数限制
- 递归逻辑缺陷:递归调用
start()时,外层持有的sftp连接、循环上下文都没有退出,栈帧上会残留多个活跃SFTP连接;同时递归调用时会重新生成时间戳now,导致同批次上传的文件命名时间戳不一致 - 无效空判断:
xmltodict.parse()返回值是字典类型,代码中if new_xml == ''的判断永远不会触发,空XML场景会直接抛出类型错误
针对性修复方案
- 路径统一改用绝对路径:将
SOURCE_FOLDER、DEST_FOLDER全部配置为服务器上的完整绝对路径(类似/home/your-agent/somefolder/out/),不管当前会话的工作目录如何变化,路径解析都不会出错 - 替换非安全的目录切换:把直接修改会话状态的
sftp.cwd(),改为带上下文自动复原的sftp.cd()语法,将文件下载逻辑放到with sftp.cd(SOURCE_FOLDER):的代码块中,操作完成后会自动切回之前的工作目录,不会残留状态修改 - 去掉冗余嵌套连接:全程只保留1个SFTP连接,上传文件操作直接复用同一个连接对象,不要新开
sftp2连接 - 替换递归逻辑为循环逻辑:去掉递归调用
start()的写法,改用while外层循环判断源目录文件数,满足退出条件(文件数≤3)就跳出循环,避免连接残留、时间戳不一致的问题 - 修正空值判断:将
if new_xml == ''改为if not new_xml,匹配xmltodict返回字典的实际类型,正确拦截空解析结果
内容的提问来源于stack exchange,提问作者Pypax
相关产品推荐
相关产品推荐

