如何使用Microsoft Fabric将data pipeline连接至onpremise服务器文件夹?
解决Microsoft Fabric提取本地服务器文件夹数据的方案
方案1:自托管集成运行时+文件系统连接器
- 在本地服务器部署自托管集成运行时,完成与Fabric的关联配置
- 在Fabric数据管道的复制数据活动中,选择文件系统作为源类型,配置时指定已部署的自托管IR,填写本地文件夹路径(如
\\onprem-server\shared-folder或D:\local-data),设置文件筛选、读取模式等参数,即可直接拉取本地文件数据
方案2:PowerShell脚本批量上传到Fabric湖仓
- 在本地服务器编写PowerShell脚本,遍历目标文件夹内的文件,通过Fabric REST API将文件上传到OneLake或指定湖仓容器
- 在Fabric数据管道中添加运行脚本活动,调用该PowerShell脚本(需确保自托管IR能访问本地脚本和Fabric API),后续直接从湖仓读取已上传的文件数据
方案3:本地文件同步到云存储中转
- 使用Azure File Sync、Robocopy等工具,将本地服务器文件夹的内容实时或定期同步到Azure Blob Storage/Azure Files
- 在Fabric数据管道中使用Azure Blob Storage或Azure Files连接器,直接读取同步后的云存储数据,适合需要持续同步的场景
方案4:开发自定义连接器(复杂场景适配)
- 若上述方案无法满足需求,可基于Fabric自定义连接器框架,用C#或Python编写适配本地文件系统的连接器代码
- 打包代码后导入Fabric环境,即可在数据管道中使用自定义连接器访问本地文件夹
内容的提问来源于stack exchange,提问作者willy sepulveda
相关产品推荐
相关产品推荐

