提取文件原生二进制元数据及定位相关技术咨询

针对MP3文件的问题解答 #

1. ID3容器的结束标识 #

ID3标签分两个核心版本，结束逻辑完全不同：

• ID3v1：固定位于文件末尾128字节，以TAG（十六进制54 41 47）开头，没有单独的结束标识——整个容器长度固定为128字节，从文件末尾往前数128字节就是它的完整范围，你在文件末尾看到的额外元数据大概率是ID3v1标签。
• ID3v2：位于文件开头，以ID3（十六进制49 44 33）开头。它的头部包含一个同步安全整数（4字节），用来标识整个ID3v2容器的总长度（不含头部的10字节）。结束位置=起始偏移（通常为0）+10字节头部+同步安全整数解析出的长度。ID3v2没有专门的结束十六进制标识，完全靠头部的长度字段确定范围。

2. 识别其他文件类型元数据容器的起止偏移 #

专用工具库方案

不同文件类型的元数据容器结构差异极大，需结合格式规范和专用库定位：

• PDF：使用Apache PDFBox，它可解析PDF的信息字典（XMP、Document Information Dictionary）、交叉引用表的位置，通过底层COS对象直接获取元数据块的字节偏移和长度。
• JPG/PNG：使用metadata-extractor库，它能直接读取JPG的EXIF、IPTC块，PNG的IHDR、tEXt等块的起始偏移和字节长度，底层基于文件签名（如JPG的FF D8、PNG的89 50 4E 47）定位后解析结构。
• MP4：使用MP4Parser库，它可解析MP4的moov原子（存储元数据的核心容器），通过遍历原子树获取moov的起始和结束偏移。

Apache Tika的相关能力

Tika核心定位是提取元数据内容，但要获取原始二进制位置可通过以下方式：

• Tika的Detector组件能通过文件签名识别文件类型，你可以直接调用Tika依赖的底层库（如处理MP3的JAudioTagger、处理PDF的PDFBox）获取偏移信息——因为Tika的解析器大多是封装这些底层工具。
• 若要在Tika流程中获取原始元数据块，可扩展Tika的Parser接口，在解析时记录元数据块的字节范围，但Tika默认不会暴露这些位置信息，需自定义实现。

另外，你提到Tika会移除冗余内容（如字符串后的00h），若要保留原生二进制元数据，不要使用Tika解析后的元数据对象，而是定位到元数据块的字节范围后，直接读取原始字节流。

内容的提问来源于stack exchange，提问作者needHelpDigesting