无存储账户时,如何用自托管IR将Azure VM本地文件加载到Azure SQL数据库?
把Azure VM本地CSV文件加载到Azure SQL数据库(用自托管IR+文件系统)
1. 把自托管集成运行时装到你的Azure VM上
- 先去Azure数据工厂(ADF)里建自托管IR:打开ADF资源,左侧点「集成运行时」,点「+新建」,选「自托管」类型,起个名字完成创建。
- 下载安装包:在刚建好的IR详情页,点「下载安装程序」,把安装包传到你的Azure VM里。
- 在VM上完成安装注册:运行安装包跟着向导走,输入ADF生成的「身份验证密钥」完成注册,确认IR状态显示为「运行中」即可。
2. 配置文件系统数据集(指向VM上的CSV)
- 在ADF里新建数据集:进入「数据集」页面,点「+新建」,选「文件系统」类型,关联刚才创建的自托管IR。
- 设置文件路径:在数据集配置页,把「文件路径」设为VM上CSV所在的本地目录(比如
D:\CSV_Files\data.csv),文件格式选「CSV」,再将分隔符、编码等参数调整到和你的文件匹配。
3. 配置Azure SQL数据库数据集
- 新建数据集:选「Azure SQL数据库」类型,填写连接信息:服务器名称、数据库名称,选择身份验证方式(比如SQL身份验证,输入用户名和密码),测试连接确保正常连通。
- 指定目标表:要么选择已存在的表,要么勾选「新建表」,后续可通过字段映射自动生成表结构。
4. 创建复制活动完成数据加载
- 新建管道:进入「管道」页面,点「+新建」,在画布中添加「复制数据」活动。
- 配置源端:在复制活动的「源」标签页,选择之前创建的文件系统数据集,读取方式选「从文件中复制全部内容」即可。
- 配置目标端:在「目标」标签页,选择Azure SQL数据集,写入行为根据需求选「追加」或「覆盖」。
- 字段映射:切换到「映射」标签页,ADF会自动识别CSV和SQL表的字段对应关系,手动调整不匹配的映射项。
- 运行并验证:点击管道的「调试」按钮启动任务,查看运行日志确认成功,之后去Azure SQL数据库中查询数据验证结果。
注意事项
- 确保Azure VM的防火墙放行了自托管IR与ADF的通信(默认安装会配置必要规则,若有自定义防火墙需放行相关端口)。
- 如果CSV有特殊格式(比如带表头、使用特殊分隔符),需在文件系统数据集的「连接」标签页精准配置格式参数。
- 安装自托管IR的VM需保持运行状态,否则数据加载任务会失败。
内容的提问来源于stack exchange,提问作者user21510438
相关产品推荐
相关产品推荐

