如何用Java ParquetFileReader不读取全Parquet文件获去重计数及字符串最大长度

需求 #

• Java环境下，不使用Avro Parquet读取器，且不读取整个Parquet文件
• 需要获取两类字段信息：
  1. 字符串类型字段的最大长度
  2. 字段的去重计数

当前代码实现 #

ParquetFileReader parquetFileReader = ParquetFileReader.open(inputFile);

List<BlockMetaData> fileMetaData = parquetFileReader.getFooter().getBlocks();

遇到的问题 #

通过BlockMetaData只能获取最小值、最大值、总行数这类基础统计，完全满足不了上述两个需求。

解决方案 #

1. 获取字符串类型字段的最大长度 #

Parquet的列块元数据（ColumnChunkMetaData）中，若写入时开启了统计收集，会存储字符串类型字段的max值（即该列最长的字符串本身）。我们可以通过解析这个max值的长度得到结果，无需读取全文件：

ParquetFileReader reader = ParquetFileReader.open(inputFile);
Footer footer = reader.getFooter();
Schema fileSchema = footer.getFileMetaData().getSchema();

for (BlockMetaData block : footer.getBlocks()) {
    for (ColumnChunkMetaData columnChunk : block.getColumns()) {
        Type columnType = fileSchema.getType(columnChunk.getPath());
        // 字符串类型在Parquet中以BINARY类型存储
        if (columnType.isPrimitive() && 
            columnType.asPrimitiveType().getPrimitiveTypeName() == PrimitiveTypeName.BINARY) {
            
            Statistics stats = columnChunk.getStatistics();
            if (stats != null && stats.hasMax()) {
                Binary maxBinary = (Binary) stats.getMax();
                String maxString = maxBinary.toStringUsingUTF8();
                int maxLength = maxString.length();
                System.out.printf("列 %s 的最大字符串长度：%d%n", columnChunk.getPath(), maxLength);
            }
        }
    }
}
reader.close();

注意：

• 该方法依赖写入Parquet文件时开启了统计收集（多数主流写入器默认开启）
• 如果文件由多个块合并/追加生成，需要遍历所有块的统计值，取全局最大值

2. 字段去重计数的限制 #

Parquet默认元数据不存储字段的去重计数（distinct count），如果完全不读取文件的行数据，无法准确获取这个值。若要实现需求，只能通过两种方式：

• 写入Parquet文件时，在文件元数据的key-value区域预写入计算好的去重计数
• 依赖外部元数据系统（如Hive Metastore、Iceberg）中存储的预计算统计结果

内容的提问来源于stack exchange，提问作者maya