如何用pysftp读取SFTP服务器大CSV文件前5行（无需全量下载）

使用pysftp实现 #

pysftp支持流式读取文件内容，无需下载完整文件。它底层基于paramiko，其open方法返回的文件对象支持逐行读取，这依赖SFTP协议的部分读取能力——只会从服务器获取所需的文件块，而非整个文件。

示例代码：

import pysftp

# 建立SFTP连接
with pysftp.Connection(
    host="你的SFTP服务器地址",
    username="用户名",
    password="密码"  # 或使用密钥认证：private_key="密钥路径"
) as sftp:
    # 以只读模式打开远程文件
    with sftp.open("/远程路径/大型文件.csv", mode="r") as remote_file:
        # 读取前5行
        for _ in range(5):
            line = remote_file.readline()
            if not line:  # 处理文件不足5行的情况
                break
            print(line.strip())

如果需要解析CSV格式，可结合Python标准库csv：

import pysftp
import csv

with pysftp.Connection("你的SFTP服务器地址", username="用户名", password="密码") as sftp:
    with sftp.open("/远程路径/大型文件.csv", mode="r") as remote_file:
        csv_reader = csv.reader(remote_file)
        for index, row in enumerate(csv_reader):
            if index >= 5:
                break
            print(row)

其他替代方案 #

直接使用paramiko #

由于pysftp是paramiko的封装，你也可以直接使用paramiko实现相同功能，避免依赖额外库：

import paramiko

# 建立传输连接
transport = paramiko.Transport(("你的SFTP服务器地址", 22))
transport.connect(username="用户名", password="密码")

# 创建SFTP客户端
sftp_client = paramiko.SFTPClient.from_transport(transport)

with sftp_client.open("/远程路径/大型文件.csv", "r") as remote_file:
    for _ in range(5):
        line = remote_file.readline()
        if not line:
            break
        print(line.strip())

# 关闭连接
sftp_client.close()
transport.close()

使用pandas（适用于需要结构化处理的场景） #

如果需要将前5行转为DataFrame，可结合pandas和paramiko：

import paramiko
import pandas as pd
from io import StringIO

transport = paramiko.Transport(("你的SFTP服务器地址", 22))
transport.connect(username="用户名", password="密码")
sftp_client = paramiko.SFTPClient.from_transport(transport)

with sftp_client.open("/远程路径/大型文件.csv", "r") as remote_file:
    # 读取前5行内容到内存
    content = ""
    for _ in range(5):
        line = remote_file.readline()
        if not line:
            break
        content += line
    # 转为DataFrame
    df = pd.read_csv(StringIO(content))
    print(df)

sftp_client.close()
transport.close()

所有方案的核心都是利用SFTP协议的部分读取特性，仅从服务器获取必要的文件片段，避免下载整个大型文件。

内容的提问来源于stack exchange，提问作者Shubham Bansal