如何在AWS RDS SQL Server实例中用存储过程从SFTP拉取CSV文件？

AWS RDS SQL Server作为托管服务，无法直接在存储过程中实现SFTP文件拉取——因为RDS限制了底层系统访问权限，既不能安装SFTP客户端，也没有原生SFTP访问能力，本地SQL Server的常规方案（如xp_cmdshell调用SFTP命令）完全不适用。以下是几种可行的落地方案：

方案1：用AWS Lambda做中转（推荐轻量场景） #

通过Lambda完成SFTP拉取+数据加载的全流程，存储过程仅负责数据入库逻辑：

• 编写Lambda函数（Python/Node.js/C#均可）：
  1. 从SFTP服务器拉取CSV文件（用paramiko（Python）、ssh2-sftp-client（Node.js）等库）
  2. 将文件暂存到S3桶（RDS支持通过S3集成加载数据）
  3. 调用RDS的存储过程，用BULK INSERT或OPENROWSET从S3读取数据并写入目标表
• 用CloudWatch Events配置定时触发，实现自动同步
• 存储过程示例（仅处理数据加载）：

  CREATE PROCEDURE LoadCSVFromS3
  @S3Path NVARCHAR(1000)
  AS
  BEGIN
      BULK INSERT YourTargetTable
      FROM @S3Path
      WITH (
          DATA_SOURCE = 'YourS3DataSource', -- 需提前在RDS配置S3数据源
          FIELDTERMINATOR = ',',
          ROWTERMINATOR = '\n',
          FIRSTROW = 2, -- 跳过表头
          TABLOCK
      );
  END
  

方案2：用EC2实例做中转（适合需自定义脚本场景） #

在EC2上部署SFTP客户端和SQL工具，通过脚本完成拉取+导入：

• 在EC2上安装SFTP客户端（如WinSCP命令行版、psftp）和SQL Server客户端（sqlcmd/bcp）
• 编写脚本（PowerShell/Shell）：
  1. 从SFTP拉取CSV到EC2本地目录
  2. 用bcp命令或调用存储过程将数据导入RDS
• 配置定时任务（Windows任务计划/Linux cron）自动执行脚本
• 注意：EC2需和RDS在同一VPC，且RDS安全组允许EC2的IP访问

方案3：用AWS Glue做ETL（适合大数据量/复杂转换场景） #

利用Glue的全托管ETL能力完成端到端同步：

• 配置Glue连接：分别连接SFTP服务器和RDS SQL Server
• 创建Glue作业，定义SFTP的CSV为数据源、RDS表为数据目标，可按需添加数据转换逻辑
• 配置作业定时运行，自动完成文件拉取、转换、加载

关键注意事项 #

• 权限配置：Lambda/Glue需配置IAM角色，获得SFTP访问权限（第三方SFTP可将凭证存在Secrets Manager）、S3访问权限、RDS访问权限
• 数据校验：加载前建议校验CSV列数、数据类型与目标表匹配，避免入库失败
• 监控告警：给定时任务配置日志和CloudWatch告警，确保同步失败时能及时感知

内容的提问来源于stack exchange，提问作者Ludwig