基于SSH批量获取远程文件路径的Python API优化方案问询

嘿，我太懂你这种反复建立SSH连接的糟心体验了——每次握手、认证都要耗掉不少时间，循环个十几次到几十次，速度肯定上不去，而且对服务器来说也是没必要的资源消耗。给你几个我在项目里亲测有效的优化思路：

核心优化：复用单个SSH连接 #

这是最立竿见影的办法，毕竟建立连接的开销远大于在已连接状态下执行命令的开销。用paramiko库的话，只需要初始化一次SSHClient，然后在同一个连接里完成所有文件路径的查询操作。

方案1：一次性用find命令捞取所有路径 #

如果你的目标文件夹有统一的规律（比如都在某个根目录下，或者有特定命名规则），直接用远程的find命令一次性把所有文件路径查出来，比逐个文件夹查询效率高得多：

import paramiko

# 建立单次SSH连接
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(
    hostname="your_remote_server",
    username="your_username",
    password="your_password"  # 推荐用密钥认证：key_filename="/path/to/your/key"
)

# 自定义find命令，匹配你的目标文件/文件夹规则
# 示例：查找所有在/data下的子文件夹里的.txt文件
find_cmd = "find /data -type f -name '*.txt'"
stdin, stdout, stderr = ssh.exec_command(find_cmd)

# 解析结果
all_file_paths = stdout.read().decode("utf-8").splitlines()
# 处理错误信息（如果有）
error_msg = stderr.read().decode("utf-8")
if error_msg:
    print(f"远程命令执行出错：{error_msg}")

# 最后关闭连接
ssh.close()

方案2：在单连接内逐个处理文件夹 #

如果你的目标文件夹没有统一规律，必须逐个查询，那也在同一个连接里循环执行命令，不要每次都重新建立连接：

import paramiko

target_folders = ["/folder_a", "/folder_b", "/folder_c"]  # 你的文件夹列表
all_paths = []

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect("your_remote_server", username="your_username", key_filename="/path/to/key")

for folder in target_folders:
    # 执行ls命令获取当前文件夹下的文件
    ls_cmd = f"ls -1 {folder}"
    stdin, stdout, stderr = ssh.exec_command(ls_cmd)
    files = stdout.read().decode().splitlines()
    # 拼接完整路径
    folder_paths = [f"{folder}/{file}" for file in files if file not in (".", "..")]
    all_paths.extend(folder_paths)

ssh.close()

进阶优化：用SFTP遍历目录 #

如果后续你还需要对这些文件进行读写操作，直接用SFTP协议更高效——同样是单连接，还能直接遍历目录结构，不用依赖远程的shell命令：

import paramiko

target_folders = ["/folder_a", "/folder_b"]
all_file_paths = []

def traverse_sftp_dir(sftp, current_path):
    """递归遍历SFTP目录，收集所有文件路径"""
    for entry in sftp.listdir_attr(current_path):
        entry_path = f"{current_path}/{entry.filename}"
        if entry.filename in (".", ".."):
            continue
        # 判断是否为目录（通过文件模式位）
        if entry.st_mode & 0o40000:  # 目录的模式位标识
            traverse_sftp_dir(sftp, entry_path)
        else:
            all_file_paths.append(entry_path)

with paramiko.SSHClient() as ssh:
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    ssh.connect("your_remote_server", username="your_username", key_filename="/path/to/key")
    
    with paramiko.SFTPClient.from_transport(ssh.get_transport()) as sftp:
        for folder in target_folders:
            traverse_sftp_dir(sftp, folder)

print(all_file_paths)

备选：受控的并行连接（谨慎使用） #

如果单连接下的命令执行还是太慢（比如目标文件夹数量特别多），可以考虑用线程池建立少量并行连接（比如5-10个），但千万不要开太多——服务器的SSH连接数是有限制的，太多连接会被拒绝或者触发限流。这个方案只在单连接确实无法满足性能需求时再考虑。

小提示 #

• 优先用密钥认证代替密码认证，不仅更安全，认证速度也更快；
• 如果远程服务器允许，尽量用find这类批量命令减少交互次数；
• 记得处理远程命令的错误输出，避免遗漏异常情况。

内容的提问来源于stack exchange，提问作者luv.preet