U-SQL获取文件夹文件数及按数量处理对应文件的方法

Great questions! Let's break these down one by one with practical U-SQL solutions:

在U-SQL中，你可以通过枚举目标文件夹下的所有文件，再对结果集进行聚合计数来实现需求。这里有两种靠谱的实现方式：

方式1：使用System.IO.Directory.EnumerateFiles #

这种方法直接列出文件夹内的文件，适合快速统计：

DECLARE @folderPath string = "/your/target/folder/";

-- 枚举目标文件夹下的所有文件
@fileList =
    SELECT *
    FROM System.IO.Directory.EnumerateFiles(@folderPath) AS FilePath;

-- 计算并输出文件数量
@fileCount =
    SELECT COUNT(FilePath) AS FileCount
    FROM @fileList;

OUTPUT @fileCount
TO "/output/file_count.csv"
USING Outputters.Csv();

注意： 默认情况下EnumerateFiles不会遍历子文件夹，如果需要统计所有子文件夹内的文件，可以添加搜索参数：System.IO.Directory.EnumerateFiles(@folderPath, "*.*", System.IO.SearchOption.AllDirectories)。

方式2：查询元数据（适用于Azure Data Lake Storage） #

如果你的数据存储在Azure Data Lake Storage（Gen1/Gen2），可以通过内置元数据视图来获取文件信息并计数：

DECLARE @folderPath string = "/your/target/folder/";

-- 从元数据中获取文件列表
@fileList =
    SELECT *
    FROM Master.dbo.ListFiles
    WHERE Path == @folderPath;

-- 统计文件数量
@fileCount =
    SELECT COUNT(*) AS FileCount
    FROM @fileList;

OUTPUT @fileCount
TO "/output/file_count_metadata.csv"
USING Outputters.Csv();

要实现这个逻辑，我们需要先获取包含文件修改时间的文件列表，再根据文件总数筛选目标文件，最后进行处理。以下是完整的脚本示例：

DECLARE @folderPath string = "/your/target/folder/";

-- 获取文件路径及对应的最后修改时间
@fileDetails =
    SELECT 
        FilePath,
        System.IO.File.GetLastWriteTime(FilePath) AS LastModifiedTime
    FROM System.IO.Directory.EnumerateFiles(@folderPath) AS FilePath;

-- 统计文件夹内的文件总数
@fileCount =
    SELECT COUNT(*) AS TotalFiles
    FROM @fileDetails;

-- 根据文件数量筛选目标文件
@targetFile =
    SELECT TOP 1 FilePath
    FROM @fileDetails
    CROSS JOIN @fileCount
    ORDER BY 
        -- 文件数量大于1时，按修改时间降序取最新文件
        CASE WHEN TotalFiles > 1 THEN LastModifiedTime ELSE 1 END DESC,
        -- 文件数量为1时，按文件路径升序取第一个（可根据需求调整排序规则）
        FilePath ASC;

-- 处理目标文件（替换为你自己的抽取/处理逻辑）
@processedData =
    SELECT *
    FROM EXTRACT Column1 string, Column2 int
    FROM @targetFile
    USING Extractors.Csv();

-- 输出处理结果
OUTPUT @processedData
TO "/output/processed_result.csv"
USING Outputters.Csv();

逻辑说明： #

• 用System.IO.File.GetLastWriteTime获取每个文件的修改时间戳；
• ORDER BY中的CASE表达式控制排序规则：文件数量多于1时，优先取最新修改的文件；仅1个文件时，按文件路径升序选取第一个（你可以根据实际需求调整排序逻辑）；
• 筛选出的目标文件会传入EXTRACT语句，执行你自定义的处理逻辑。

内容的提问来源于stack exchange，提问作者steve