如何通过Data Factory向U-SQL脚本传递日期时间集合动态参数

当然可以！在Azure Data Factory（ADF）中向U-SQL传递日期时间集合类参数，以此批量生成符合模式的文件路径是完全可行的。下面我会拆解具体的实现思路和步骤：

核心思路 #

U-SQL本身没有原生的数组/集合参数类型，但我们可以通过将集合转换为逗号分隔的字符串传递，再在U-SQL脚本中拆分解析为日期行集，最终生成对应的文件路径。另外也可以借助ADF的ForEach活动遍历集合，逐个传递日期参数，两种方案各有适用场景。

具体实现方案 #

方案一：传递逗号分隔的日期字符串（适合小规模集合） #

1. 在ADF中准备日期集合

你可以通过两种方式获取日期集合：

• 静态参数定义：创建一个数组类型的管道参数（例如dateList），手动填入日期字符串数组，示例值：["2024-03-01", "2024-03-02", "2024-03-03"]
• 动态生成：用Lookup活动查询数据库中的日期范围，或者用自定义活动生成连续日期数组，将结果传递给后续的U-SQL活动

2. 将数组转换为逗号分隔字符串

在U-SQL活动的「脚本」配置中，使用ADF的表达式将数组拼接为逗号分隔的字符串：

@join(pipeline().parameters.dateList, ',')

然后在U-SQL脚本中声明对应的字符串参数：

DECLARE @dateCsv string = @{pipeline().parameters.dateCsvParam};

3. 在U-SQL中解析并生成路径

通过STRING_SPLIT函数拆分字符串为日期行集，再根据需求生成文件路径：

-- 拆分逗号分隔的日期字符串为单个日期值
@dateRows =
    SELECT DateTime.Parse(dateItem) AS targetDate
    FROM (VALUES ((string)@dateCsv)) AS Input(dates)
    CROSS APPLY STRING_SPLIT(dates, ',') AS Split(dateItem);

-- 按照指定模式生成文件路径（示例：yyyy/MM/dd的层级结构）
@filePaths =
    SELECT "/data/raw/" + targetDate.ToString("yyyy/MM/dd") + "/daily_output.csv" AS outputPath
    FROM @dateRows;

-- 示例：输出生成的路径（可替换为你的实际读写逻辑）
OUTPUT @filePaths
TO "/data/logs/generated_paths.txt"
USING Outputters.Text(quoting: false);

方案二：用ForEach活动遍历处理（适合大规模集合） #

如果你的日期集合数量较多，或者希望并行处理每个日期任务，推荐使用ADF的ForEach活动：

• 将日期集合设置为ForEach的迭代项（@pipeline().parameters.dateList）
• 在ForEach内部调用U-SQL活动，每次传递单个日期参数（@item()）
• 这种方式可以实现并行执行，且便于单独监控每个日期任务的执行状态

注意事项 #

• 日期格式一致性：确保ADF传递的日期字符串格式与U-SQLDateTime.Parse的解析格式匹配，避免转换错误（例如统一使用yyyy-MM-dd格式）
• 参数长度限制：逗号分隔的字符串不要超过U-SQL参数的长度上限，若集合过大，优先选择ForEach方案
• 性能优化：大规模日期集合下，ForEach的并行处理方式比在U-SQL中拆分大字符串的执行效率更高

内容的提问来源于stack exchange，提问作者Nario