使用parquet-hadoop读取Snappy压缩Parquet文件速度过慢的优化问询

针对你遇到的读取时间与文件大小呈二次方增长的问题，结合parquet-java 1.13.1的特性，提供以下几个关键优化方向：

1. 复用核心对象，避免重复初始化 #

如果你的代码是在每次读取RowGroup时都创建MessageColumnIO和GroupRecordConverter，会产生大量冗余的反射计算与对象初始化开销——这是造成耗时随文件大小二次增长的核心原因。MessageColumnIO基于固定Schema生成，整个读取过程中无需重复创建；GroupRecordConverter本身无状态，完全可以复用。

修改后的代码示例：

try (ParquetFileReader reader = ParquetFileReader.open(file, ParquetReadOptions.builder().build())) {
    MessageType schema = reader.getFileMetaData().getSchema();
    // 仅初始化一次核心对象
    MessageColumnIO columnIo = new ColumnIOFactory().getColumnIO(schema);
    GroupRecordConverter converter = new GroupRecordConverter(schema);
    
    PageReadStore pageReadStore;
    while ((pageReadStore = reader.readNextRowGroup()) != null) {
        // 复用已初始化的columnIo和converter创建RecordReader
        RecordReader<Group> recordReader = columnIo.getRecordReader(pageReadStore, converter);
        
        // 读取记录逻辑
        long recordCount = pageReadStore.getRowCount();
        for (int i = 0; i < recordCount; i++) {
            Group record = recordReader.read();
            // 处理记录...
        }
    }
}

2. 升级parquet-java版本至1.14.x及以上 #

parquet-java 1.13.1在ColumnIOFactory生成RecordReader的流程中存在较多性能瓶颈，大量使用未缓存的反射操作。1.14.x及后续版本针对该模块做了显著优化：

• 新增Schema相关对象的缓存机制，减少重复计算
• 优化RecordReader初始化流程，降低CPU与内存开销
• 修复大文件读取时的元数据处理性能问题

3. 替换通用Group类型为特定数据结构 #

Group是通用树形数据结构，序列化、反序列化及内存操作的开销极大，处理大量记录时会显著拖慢速度。建议根据数据结构改用更高效的映射方式：

• POJO映射：使用parquet-hadoop的POJO支持，直接将Parquet记录映射到自定义Java对象（需确保类字段与Schema对应）
• Avro/Protobuf映射：如果数据原本用Avro或Protobuf定义，直接使用对应ParquetReader（如AvroParquetReader），性能远超通用Group

POJO读取示例：
假设你有自定义POJO类User：

public class User {
    private String name;
    private int age;
    // 构造函数、getter/setter...
}

使用POJO方式读取：

try (ParquetReader<User> reader = ParquetReader.builder(new UserReadSupport(), file).build()) {
    User user;
    while ((user = reader.read()) != null) {
        // 处理User对象...
    }
}

4. 检查Parquet文件的RowGroup大小 #

如果你的Parquet文件包含大量过小的RowGroup（远小于推荐的128MB-256MB），会导致readNextRowGroup()调用次数大幅增加，累加初始化开销。可以通过Parquet工具查看文件的RowGroup分布，若存在大量小RowGroup，建议重新生成文件时调整RowGroup大小参数。

内容的提问来源于stack exchange，提问作者Desk Reference