USQL技术问题：如何高效提取每日生成的最近30个目标文件

这个问题我之前帮团队里的同事处理过，确实在USQL里要是全量扫描历史文件，长期下来存储和计算成本都会蹭蹭往上涨，给你两个最优的实现思路，其中第一个是我最推荐的：

方法一：利用文件元数据函数在扫描阶段过滤（最推荐） #

USQL支持直接访问文件的元数据（比如创建时间、最后修改时间），而且查询优化器会把过滤条件下推到文件扫描阶段，不会读取那些不符合条件的文件，完美解决你不想全量提取的痛点。

具体实现逻辑：

• 用通配符/MyOutput/*/*/*/file.csv匹配所有历史生成的文件
• 通过FILE.GetLastWriteTime(INPUT_FILE())获取每个文件的最后修改时间（如果你的任务生成文件时的创建时间更准确，也可以用FILE.GetCreationTime()）
• 直接过滤出最近30天内的文件

示例代码：

-- 定义要回溯的天数
DECLARE @DaysBack int = 30;
-- 计算截止时间：当前时间往前推30天
DECLARE @CutoffDateTime DateTime = DateTime.Now.AddDays(-@DaysBack);

-- 提取文件数据+元数据
@recentFiles =
    EXTRACT 
        col1 string,
        col2 int,
        -- 可选：提取文件路径和时间用于验证
        filePath string = INPUT_FILE(),
        fileModifyTime DateTime = FILE.GetLastWriteTime(INPUT_FILE())
    FROM "/MyOutput/*/*/*/file.csv"
    USING Extractors.Csv();

-- 过滤最近30天的文件
@filteredData =
    SELECT *
    FROM @recentFiles
    WHERE fileModifyTime >= @CutoffDateTime;

-- 输出结果
OUTPUT @filteredData
TO "/MyOutput/Recent30Days/consolidated_data.csv"
USING Outputters.Csv();

为啥这个方法最优？因为USQL的查询引擎会自动分析WHERE条件，只扫描那些满足时间要求的文件，完全不会读取超过30天的历史文件，从根源上避免了全量提取的高成本。

方法二：动态生成日期范围的通配符路径（适合精确控制场景） #

如果你需要更精准地控制扫描的日期范围，可以先计算出最近30天的所有日期（考虑跨月、跨年的情况），然后动态生成对应的路径通配符，这样扫描的文件范围会更窄，但实现起来稍微麻烦一点。

示例思路：

1. 生成最近30天的日期列表，格式化为YYYY/MM/DD的结构
2. 把这些日期路径拼接成逗号分隔的字符串，作为扫描路径
3. 在EXTRACT语句中使用这个动态路径

简化版示例代码：

-- 生成最近30天的日期列表（这里用固定值示例，实际可以用更灵活的数字生成逻辑）
@dateRange =
    SELECT 
        String.Format("{0:yyyy}/{0:MM}/{0:dd}", DateTime.Now.AddDays(-n)) AS datePath
    FROM 
        (VALUES (0), (1), (2), ..., (29)) AS Days(n);

-- 拼接成可用于扫描的路径字符串
@pathList =
    SELECT String.Join(",", datePath) AS targetPaths
    FROM @dateRange;

-- 仅扫描目标日期范围内的文件
@recentFiles =
    EXTRACT 
        col1 string,
        col2 int
    FROM @pathList targetPaths
    USING Extractors.Csv();

-- 后续处理逻辑...

这个方法的缺点是需要处理日期生成的边界情况（比如闰年、不同月份的天数差异），灵活性不如方法一，所以只推荐在对扫描范围有极致精准要求的场景下使用。

注意事项 #

• 确保文件元数据准确：如果你的任务是每日定时生成文件，那么文件的最后修改时间应该和生成日期一致，这样过滤逻辑才准确；如果存在延迟生成的情况，需要适当调整时间条件。
• 先小范围测试：可以先提取少量文件，查看filePath和fileModifyTime是否符合预期，确保过滤逻辑没问题。
• 性能优化：如果你的输出目录有大量历史文件，方法一的过滤效率会非常高，因为USQL会直接跳过不符合条件的文件，不需要读取它们的内容。

内容的提问来源于stack exchange，提问作者John