如何通过Azure Data Factory将SQL Server二进制流上传至S3存储桶？

针对你的场景，以下几种方案可以实现从SQL Server二进制列逐行提取并上传至S3的需求：

方案1：Azure Functions + Azure Data Factory 联动 #

1. 在ADF中使用Lookup活动读取SQL Server表的主键/唯一标识列（用于定位每行数据），将结果传入ForEach活动循环处理。
2. 为ForEach活动配置调用Azure Functions：
   • 函数中通过SQL驱动（如Python的pyodbc、C#的SqlConnection）连接SQL Server，根据传入的主键读取对应行的二进制流列。
   • 使用AWS SDK（如Python的boto3、C#的AWSSDK.S3）将二进制数据直接上传至S3指定路径，示例Python代码片段：

     import pyodbc
     import boto3
     
     def main(req):
         # 从请求参数获取主键
         record_id = req.params.get('record_id')
         # 连接SQL Server读取二进制列
         conn = pyodbc.connect("DRIVER={ODBC Driver 17 for SQL Server};SERVER=your-sql-server;DATABASE=your-db;UID=user;PWD=pwd")
         cursor = conn.cursor()
         cursor.execute("SELECT binary_column FROM your_table WHERE id = ?", record_id)
         binary_data = cursor.fetchone()[0]
         # 上传至S3
         s3 = boto3.client('s3')
         s3.put_object(
             Bucket='your-s3-bucket',
             Key=f'files/{record_id}.dat',
             Body=binary_data
         )
         return "Upload completed"
     

3. 确保Azure Functions拥有SQL Server的读取权限，以及S3的s3:PutObject权限（通过AWS IAM角色或Access Key配置）。

方案2：Azure Databricks 处理 #

1. 创建Databricks集群，安装SQL Server JDBC驱动和AWS SDK依赖（如boto3）。
2. 编写Notebook脚本：
   • 通过JDBC连接SQL Server读取包含二进制列的全表数据：

     df = spark.read.format("jdbc").option("url", "jdbc:sqlserver://your-sql-server:1433;databaseName=your-db") \
         .option("dbtable", "your_table") \
         .option("user", "user") \
         .option("password", "pwd") \
         .load()
     

   • 遍历DataFrame每行，提取二进制数据并上传至S3：

     import boto3
     s3 = boto3.client('s3')
     
     for row in df.collect():
         record_id = row.id
         binary_data = row.binary_column
         s3.put_object(
             Bucket='your-s3-bucket',
             Key=f'files/{record_id}.dat',
             Body=binary_data
         )
     

3. 可以将Notebook封装为作业，通过ADF的Databricks活动触发执行。

方案3：ADF自托管集成运行时 + 自定义活动 #

1. 部署自托管集成运行时（Self-Hosted IR）到可访问SQL Server和互联网的服务器。
2. 在ADF中创建自定义活动，指定运行脚本为PowerShell或Python：
   • 示例PowerShell脚本（需安装AWS CLI和SQL Server模块）：

     # 获取传入的主键参数
     $recordId = $args[0]
     # 读取SQL Server二进制列
     $binaryData = Invoke-SqlCmd -ServerInstance "your-sql-server" -Database "your-db" -Query "SELECT binary_column FROM your_table WHERE id = $recordId" -As SingleValue
     # 上传至S3
     aws s3 cp - s3://your-s3-bucket/files/$recordId.dat --body $binaryData
     

3. 在自托管IR服务器上配置AWS CLI凭证（通过aws configure），确保拥有S3上传权限，同时服务器能访问SQL Server。

内容的提问来源于stack exchange，提问作者code_hr