如何用U-SQL读取Azure Data Lake Store中多格式文件的元数据？

嗨，针对你要读取Azure Data Lake Store（ADLS）里JPEG、Excel、TIFF文件元数据的需求，结合你提到的U-SQL工具，我整理了几个实用的实现方案和注意事项，你可以根据自己的场景参考：

U-SQL本身对非结构化文件的元数据提取没有原生支持，但可以通过引用.NET类库+自定义解析逻辑的方式，针对不同文件类型的特性来提取元数据。下面分类型给你具体的实现步骤：

1. Excel文件元数据读取 #

Excel文件的元数据（比如作者、创建时间、标题、文件版本等）主要存储在文档属性里，推荐用DocumentFormat.OpenXml库来解析（对.xlsx格式友好，不需要依赖Office环境）。

实现步骤 #

1. 在你的U-SQL项目中引用DocumentFormat.OpenXml NuGet包（选择兼容.NET Framework的版本，U-SQL沙箱对.NET Standard的支持有限）
2. 编写U-SQL脚本读取ADLS中的Excel文件二进制流，再通过OpenXml提取属性

示例代码 #

-- 引用所需的程序集
REFERENCE ASSEMBLY [DocumentFormat.OpenXml];

-- 定义ADLS中的Excel文件路径
DECLARE @input_path string = "/your-adls-container/path/*.xlsx";
DECLARE @output_path string = "/your-adls-container/output/excel_metadata.csv";

-- 读取文件的路径和二进制内容
@excel_files =
    EXTRACT FilePath string,
            FileBytes byte[]
    FROM @input_path
    USING new BinaryExtractor();

-- 提取元数据字段
@excel_metadata =
    SELECT FilePath,
           -- 提取文档创建者
           TRY(Microsoft.Office.DocumentFormat.OpenXml.Packaging.SpreadsheetDocument.Open(new System.IO.MemoryStream(FileBytes), false)
               .PackageProperties.Creator.ToString()) AS Creator,
           -- 提取最后修改时间
           TRY(Microsoft.Office.DocumentFormat.OpenXml.Packaging.SpreadsheetDocument.Open(new System.IO.MemoryStream(FileBytes), false)
               .PackageProperties.Modified.ToString()) AS LastModifiedTime,
           -- 提取文档标题（如果存在）
           TRY(Microsoft.Office.DocumentFormat.OpenXml.Packaging.SpreadsheetDocument.Open(new System.IO.MemoryStream(FileBytes), false)
               .PackageProperties.Title.ToString()) AS DocumentTitle
    FROM @excel_files;

-- 输出元数据到CSV文件
OUTPUT @excel_metadata TO @output_path
USING Outputters.Csv(quoting: true);

注意事项 #

• 若需要支持旧版.xls格式，可尝试引用EPPlus库，但需确认U-SQL沙箱是否兼容；
• 用TRY()包裹解析逻辑，避免单个损坏的文件导致整个作业失败；

2. JPEG/TIFF图片元数据读取 #

这两种图片的核心元数据是EXIF信息（比如拍摄时间、相机型号、分辨率等），推荐用跨平台的SixLabors.ImageSharp库来解析（不需要依赖GDI+，U-SQL沙箱支持更好）。

实现步骤 #

1. 在U-SQL项目中引用SixLabors.ImageSharp和SixLabors.ImageSharp.Metadata NuGet包
2. 读取图片二进制流，通过ImageSharp提取EXIF字段

示例代码 #

-- 引用所需的程序集
REFERENCE ASSEMBLY [SixLabors.ImageSharp];
REFERENCE ASSEMBLY [SixLabors.ImageSharp.Metadata];

-- 定义ADLS中的图片文件路径（支持多格式通配符）
DECLARE @input_path string = "/your-adls-container/path/*.{jpg,jpeg,tiff}";
DECLARE @output_path string = "/your-adls-container/output/image_metadata.csv";

-- 读取文件的路径和二进制内容
@image_files =
    EXTRACT FilePath string,
            FileBytes byte[]
    FROM @input_path
    USING new BinaryExtractor();

-- 提取图片元数据
@image_metadata =
    SELECT FilePath,
           -- 复用图片对象，减少重复加载开销
           LET img = SixLabors.ImageSharp.Image.Load(FileBytes)
           IN 
               -- 提取拍摄时间（EXIF字段）
               TRY(img.Metadata.ExifProfile?.GetValue(SixLabors.ImageSharp.Metadata.Profiles.Exif.ExifTag.DateTimeOriginal)?.Value.ToString()) AS CaptureTime,
               -- 提取相机品牌
               TRY(img.Metadata.ExifProfile?.GetValue(SixLabors.ImageSharp.Metadata.Profiles.Exif.ExifTag.Make)?.Value.ToString()) AS CameraBrand,
               -- 提取图片分辨率
               img.Size.Width.ToString() AS ImageWidth,
               img.Size.Height.ToString() AS ImageHeight
    FROM @image_files;

-- 输出元数据到CSV文件
OUTPUT @image_metadata TO @output_path
USING Outputters.Csv(quoting: true);

注意事项 #

• 部分图片可能没有EXIF信息，解析结果会为null，可根据需求添加默认值；
• TIFF文件可能包含额外的自定义元数据字段，可通过img.Metadata.Properties遍历提取；

• 批量处理：用通配符*.{jpg,xlsx,tiff}一次性读取同目录下的所有目标文件，减少作业调度开销；
• 权限配置：确保U-SQL作业使用的服务主体拥有ADLS的读取+执行权限，避免访问被拒绝；
• 错误隔离：对所有解析逻辑用TRY()包裹，确保单个损坏文件不会导致整个作业失败；

内容的提问来源于stack exchange，提问作者Sgupta