Java开发中如何让Apache Beam FileIO获取真实文件最后修改时间替代默认lastModifiedMillis值

首先明确lastModifiedMillis为0的核心原因：

• Apache Beam的FileIO.match()默认实现为降低文件列表扫描的IO开销，构造Metadata对象时仅填充文件大小、可寻址属性等基础索引信息，不会主动读取文件系统存储的最后修改时间字段。
• 指定MetadataCoderV2仅负责Metadata对象的跨节点序列化逻辑，无法补全上游未生产的字段值——这是常见认知误区：coder不负责数据采集，只负责序列化传输。你遇到的lastModifiedMillis=0的问题，本质是match阶段根本没有读取真实的文件修改时间，而非编码器配置错误。

方案1：过滤环节主动读取文件系统真实元数据（兼容性最强，适配所有Beam版本） #

替换原来直接读取Metadata自带字段的过滤逻辑，通过文件系统API获取真实的最后修改时间做判断，示例代码：

PCollection<String> readfile = pipeline
    .apply(FileIO.match().filepattern(path)
        .continuously(Duration.standardSeconds(30), Watch.Growth.never()))
    // FileIO会自动匹配兼容的编码器，无需强制手动设置MetadataCoderV2
    .apply(Filter.by(metadata -> {
        // 从Metadata中拿到真实文件路径，调用文件系统接口读取真实修改时间
        Path realFilePath = Paths.get(metadata.resourceId().toUri());
        long realLastModifiedMs = Files.getLastModifiedTime(realFilePath).toMillis();
        System.out.println("real metadata: " + realLastModifiedMs);
        return realLastModifiedMs > currentThreshold;
    }))
    .apply(FileIO.readMatches())
    .apply(TextIO.readFiles());

注意：如果读取路径是对象存储（如S3、OSS、GCS），需对应使用对象存储SDK的元数据查询接口获取最后修改时间，替换本地文件系统的Files.getLastModifiedTime调用即可。

方案2：高版本Beam（2.31.0及以上）显式配置元数据提取逻辑 #

如果使用的Beam版本不低于2.31.0，可以通过Match步骤的元数据提取配置，强制在match阶段拉取完整的文件元数据，无需在过滤环节重复读取：

PCollection<Metadata> matchedFiles = pipeline
    .apply(FileIO.match()
        .filepattern(path)
        .continuously(Duration.standardSeconds(30), Watch.Growth.never())
        // 显式定义元数据提取规则，强制填充lastModifiedMillis字段
        .withMetadataExtractor(baseMetadata -> Metadata.metadata(
            baseMetadata.resourceId(),
            baseMetadata.sizeBytes(),
            baseMetadata.isReadSeekEfficient(),
            // 从底层文件系统返回的基础元数据中读取真实修改时间
            baseMetadata.lastModifiedMillis()
        ))
    );

配置完成后，后续环节拿到的Metadata对象就会携带真实的最后修改时间值，可直接做过滤判断。

• 不要试图通过更换coder解决该问题：coder的全链路作用仅为序列化，无法补全上游生产的缺失字段。
• 流式连续扫描场景下，固定写死current时间阈值会导致漏读或重复读文件：建议使用StatefulDoFn维护跨轮询的最大处理时间戳，每次轮询仅处理大于该时间戳的文件，处理完成后更新状态值。

内容的提问来源于stack exchange，提问作者Durga