Azure Data Factory批量复制Gen1到Gen2时重命名文件的方法咨询

问题背景 #

需要将Gen1存储中所有以DATA_.parquet开头的文件复制到Gen2，重命名规则为把文件名里的DATA替换成GEN2-DATA-FILE__，同时保留原文件的时间戳。已经完成元数据获取、文件名过滤、For Each+复制活动的配置，但用@replace(item.name,'DATA','GEN2-DATA-FILE')重命名没有效果，For Each正常执行却无输出。

问题原因 #

1. 替换表达式不符合需求：你需要的是GEN2-DATA-FILE__（两个下划线），但原表达式只替换成GEN2-DATA-FILE，少了一个下划线，导致命名不符合预期。
2. 过滤逻辑可能存在偏差：如果原文件名是DATA_xxxx.parquet格式，startswith(item.name, 'DATA_.parquet')的过滤条件会出错——应该判断文件名以DATA_开头，而非DATA_.parquet（.parquet是后缀，前缀为DATA_）。
3. For Each无输出大概率是因为过滤后的文件列表为空，或者复制活动的接收器路径配置错误。

正确的重命名表达式 #

根据你的文件名格式，选择对应的表达式：

情况1：原文件名是DATA_YYYYMMDD.parquet（时间戳在DATA_之后） #

使用该表达式可生成GEN2-DATA-FILE__YYYYMMDD.parquet格式的文件名：

@replace(item.name, 'DATA_', 'GEN2-DATA-FILE__')

情况2：原文件名是DATAYYYYMMDD.parquet（无下划线，时间戳直接跟在DATA后） #

如果是这种格式，用以下表达式：

@replace(item.name, 'DATA', 'GEN2-DATA-FILE__')

保留时间戳的关键设置 #

要同步原文件的时间戳属性，在复制活动的Gen2接收器高级设置里，勾选保留文件元数据选项，复制后的文件会继承原文件的修改时间等元数据。

额外排查步骤 #

1. 检查Get Metadata的输出：调试时查看childItems里的文件列表，确认存在符合条件的文件。
2. 确认For Each的Items配置：确保使用过滤后的文件列表，示例表达式：

   @filter(activity('Get Metadata活动名').output.childItems, startswith(item.name, 'DATA_'))
   

3. 验证接收器路径：确认Gen2的目标路径正确，且服务主体/托管标识具备写入权限。

内容的提问来源于stack exchange，提问作者Kavita Kumari