如何直接将SFTP服务器上的CSV文件导入SQL Server？含SSIS及其他方法

嘿，我来帮你梳理几种直接从SFTP服务器导入CSV到SQL Server的方案，既能解决你现在先下载再导入的繁琐步骤，也覆盖你关注的SSIS实现和其他替代方法：

原生SSIS并没有内置的SFTP数据源/任务，不过结合你已经在使用WinSCP的情况，有两种比较顺手的实现方式：

1. 用WinSCP .NET Assembly + SSIS脚本任务 #

这种方式不需要额外付费组件，直接利用WinSCP的.NET库在SSIS脚本里读取SFTP文件流，再批量导入SQL Server，步骤如下：

• 首先把WinSCP安装目录下的WinSCPnet.dll引用到你的SSIS项目中（右键项目→添加引用→浏览找到该文件）
• 在SSIS包中添加一个脚本任务，选择C#作为脚本语言，编写核心逻辑：
  • 初始化SFTP会话连接
  • 直接读取远程CSV文件的数据流（不用下载到本地O盘）
  • 解析CSV内容，用SqlBulkCopy批量插入到SQL Server

核心代码示例（脚本任务内）：

using System.Data;
using System.Data.SqlClient;
using System.IO;
using WinSCP;

public void Main()
{
    // 配置SFTP连接参数
    SessionOptions sessionOptions = new SessionOptions
    {
        Protocol = Protocol.Sftp,
        HostName = "你的SFTP服务器地址",
        UserName = "SFTP用户名",
        Password = "SFTP密码",
        SshHostKeyFingerprint = "服务器SSH指纹（可从WinSCP复制）"
    };

    try
    {
        using (Session session = new Session())
        {
            session.Open(sessionOptions);
            // 指定远程CSV文件路径
            string remoteFilePath = "/your/remote/path/data.csv";
            // 获取文件流
            using (Stream fileStream = session.GetFile(remoteFilePath))
            using (StreamReader reader = new StreamReader(fileStream))
            {
                // 构建和目标SQL表匹配的DataTable
                DataTable dt = new DataTable();
                dt.Columns.Add("Column1", typeof(string));
                dt.Columns.Add("Column2", typeof(int));
                dt.Columns.Add("Column3", typeof(DateTime));

                // 跳过CSV表头
                reader.ReadLine();

                string line;
                while ((line = reader.ReadLine()) != null)
                {
                    // 注意：实际生产中要处理CSV的引号、转义字符，这里简化示例
                    string[] fields = line.Split(',');
                    dt.Rows.Add(fields[0], int.Parse(fields[1]), DateTime.Parse(fields[2]));
                }

                // 批量插入到SQL Server
                using (SqlBulkCopy bulkCopy = new SqlBulkCopy("你的SQL Server连接字符串"))
                {
                    bulkCopy.DestinationTableName = "dbo.TargetTable";
                    bulkCopy.WriteToServer(dt);
                }
            }
            Dts.TaskResult = (int)ScriptResults.Success;
        }
    }
    catch (Exception ex)
    {
        // 记录错误日志
        Dts.Events.FireError(0, "SFTP导入任务", ex.Message, string.Empty, 0);
        Dts.TaskResult = (int)ScriptResults.Failure;
    }
}

2. 使用第三方SSIS SFTP组件 #

如果不想写代码，也可以用付费的第三方SSIS组件（比如CozyRoc SFTP Source、Devart SSIS Components for SFTP），这些组件可以直接在SSIS数据流任务里作为数据源拖拽使用，可视化配置SFTP连接、文件路径、CSV解析规则，然后直接连接到SQL Server目标表，操作更直观。

除了SSIS，还有几种适合不同场景的方案：

1. PowerShell脚本自动化 #

用PowerShell结合WinSCP模块读取SFTP文件，再导入SQL Server，适合不需要SSIS环境的场景，还能通过Windows任务计划定时执行：

# 加载WinSCP .NET库
Add-Type -Path "C:\Program Files (x86)\WinSCP\WinSCPnet.dll"

# 配置SFTP会话
$sessionOptions = New-Object WinSCP.SessionOptions -Property @{
    Protocol = [WinSCP.Protocol]::Sftp
    HostName = "你的SFTP地址"
    UserName = "用户名"
    Password = "密码"
    SshHostKeyFingerprint = "SSH指纹"
}

$session = New-Object WinSCP.Session
try {
    $session.Open($sessionOptions)
    # 获取远程文件流
    $remotePath = "/remote/path/data.csv"
    $fileStream = $session.GetFile($remotePath)
    
    # 读取CSV并导入SQL Server（需安装SqlServer模块）
    $csvData = Import-Csv -Path $fileStream -Delimiter ','
    Import-Module SqlServer
    Write-SqlTableData -ServerInstance "SQL实例名" -DatabaseName "数据库名" -SchemaName "dbo" -TableName "TargetTable" -InputData $csvData
}
finally {
    $session.Dispose()
    $fileStream.Dispose()
}

2. Azure Data Factory（云场景） #

如果你的SQL Server是Azure SQL或者有云化ETL需求，可以用Azure Data Factory的SFTP连接器：

• 直接创建一个数据管道，配置SFTP源（指定文件路径、CSV格式）
• 配置SQL Server作为目标，设置字段映射
• 调度管道定时执行，全程可视化配置，不需要写代码

• 处理CSV时要注意编码（比如UTF-8、GB2312）、分隔符、引号转义等细节，避免解析错误
• 确保执行任务的账号同时拥有SFTP的读取权限和SQL Server的写入权限
• 记得添加错误捕获和日志记录，方便排查连接失败、文件不存在等异常情况

内容的提问来源于stack exchange，提问作者user8165644