基于文件名日期将TXT文件复制到对应ADL目录的Data Factory问题

问题根源 #

当前配置大概率是循环范围错误（比如遍历了所有日期目录而非单个文件），或者动态路径未绑定当前循环的文件，导致每个文件被批量复制到所有生成的日期目录中。

修正步骤 #

1. 调整Get Metadata活动

   • 确保勾选Child Items字段，同时在筛选器中设置*.txt，仅获取源文件夹下的目标文件，避免包含子文件夹或其他类型文件。
   • 输出的childItems会包含每个文件的名称、路径等明细，作为后续循环的迭代基础。

2. 配置For Each活动的迭代项

   • 直接绑定Get Metadata的输出：@activity('你的Get Metadata活动名').output.childItems
   • 确保循环逻辑是遍历单个文件，而非日期目录或其他集合。

3. 提取当前文件的日期后缀（动态表达式）
   在For Each内部，针对当前循环的文件（@item().name），提取yyyyMMdd格式的日期：

   • 提取完整日期串：@substring(split(item().name, '.')[0], sub(length(split(item().name, '.')[0]), 8), 8)

     注：此表达式适用于文件名最后8位是日期的场景（如data_20240520.txt），如果日期位置不同，需调整substring的起始索引。

   • 拆分年/月/日：
     • 年：@substring(上述日期串变量, 0, 4)
     • 月：@substring(上述日期串变量, 4, 2)
     • 日：@substring(上述日期串变量, 6, 2)

4. 配置Copy活动的源与目标

   • 源数据集：文件路径指定为当前循环的文件，使用@item().name，确保每次循环仅处理一个文件。
   • 目标数据集：拼接年/月/日层级路径，示例：

     @concat('目标根文件夹/', 年变量, '/', 月变量, '/', 日变量, '/', item().name)
     

     这样每个文件会被精准复制到自身日期对应的层级目录下。

5. 清理冗余配置

   • 删除之前生成所有日期目录的全局变量或批量路径逻辑，避免循环时复用多组日期值。

内容的提问来源于stack exchange，提问作者Bhargav_mst