使用Azure Data Factory仅提取指定每日文件

方案1：用ADF内置筛选（最简方案） #

• 先配置本地文件系统链接服务：用自托管集成运行时打通ADF和本地C盘（练习时直接装在自己电脑上，客户环境要部署到专用服务器）
• 创建源数据集时，设置文件筛选规则：
  • 如果daily文件名带daily关键词（比如20240520_daily_log.csv），文件名填*daily*即可自动匹配所有含该关键词的文件
  • 如果是按日期命名的每日文件（比如20240520_log.csv），用动态内容生成匹配规则：@{formatDateTime(utcnow(), 'yyyyMMdd')}_log.csv，自动拉取当天的文件
• 配置复制活动，源选这个数据集，目标选ADF的存储服务（Blob/ADLS Gen2），运行后只会同步符合筛选条件的文件

方案2：自定义脚本预处理（应对复杂规则） #

如果文件命名没规律，或者需要更灵活的筛选逻辑，用脚本先整理出daily文件：

• 写个PowerShell脚本（示例）：

  $sourceFolder = "C:\Your_Target_Folder"
  $tempDailyFolder = "C:\Temp_Daily_Files"
  # 创建临时文件夹（不存在则新建）
  if (-not (Test-Path $tempDailyFolder)) { New-Item -Path $tempDailyFolder -ItemType Directory }
  # 筛选并移动daily文件到临时目录（这里按文件名含daily判断，可按需修改规则）
  Get-ChildItem $sourceFolder | Where-Object { $_.Name -match "daily" } | Move-Item -Destination $tempDailyFolder
  

• 在ADF里加个自定义活动，调用这个脚本（用自托管集成运行时执行）
• 复制活动从临时文件夹拉取文件到ADF目标，完成后可以再加个脚本清理临时文件夹

练习&客户部署注意点 #

• 练习时：给自托管集成运行时的服务账户开本地文件夹的读写权限，确保能访问C盘目录
• 客户环境：
  • 别用个人电脑当数据源，建议把文件存在客户的专用文件服务器
  • 集成运行时部署到客户内网服务器，保证ADF能连通
  • 配个每日触发器，实现自动同步，不用手动跑任务

内容的提问来源于stack exchange，提问作者danchdrezzing