如何用Java高效逐列读取RDBMS归档Parquet文件并导出为文本？

既然你的Parquet文件所有值的repetition level=0，说明这是完全扁平化的无嵌套结构，这正好可以让我们最大化读取效率——不用处理复杂的嵌套解析，直接针对列存储特性做流式读取就行。下面是我推荐的最高效实现方式：

核心思路 #

Parquet是列存储格式，所以最高效的读取方式就是只读取目标列，跳过其他列的所有数据，并且采用流式读取（逐页加载列数据），避免把整个文件甚至整列数据全塞到内存里，尤其适合大归档文件。

依赖准备 #

首先需要引入Parquet官方的Hadoop依赖（它是Java操作Parquet最成熟的库），如果用Maven的话，在pom.xml里加：

<dependency>
    <groupId>org.apache.parquet</groupId>
    <artifactId>parquet-hadoop</artifactId>
    <version>1.14.0</version> <!-- 建议使用最新稳定版 -->
</dependency>

完整代码实现 #

下面是可直接复用的代码，包含逐列读取、写入文本文件的逻辑，我会加详细注释：

import org.apache.parquet.hadoop.ParquetFileReader;
import org.apache.parquet.hadoop.metadata.ParquetMetadata;
import org.apache.parquet.hadoop.util.HadoopInputFile;
import org.apache.parquet.io.api.Binary;
import org.apache.parquet.schema.MessageType;
import org.apache.parquet.schema.Type;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.nio.file.Paths;

public class ParquetColumnReader {

    public static void main(String[] args) throws IOException {
        // 替换成你的Parquet文件路径
        String parquetFilePath = "/path/to/your/archive.parquet";
        // 输出文本文件的前缀，最终会生成类似column_0_user_id.txt的文件
        String outputPrefix = "/path/to/output/column_";

        // 1. 读取Parquet文件元数据，获取Schema和文件信息
        try (ParquetFileReader reader = ParquetFileReader.open(HadoopInputFile.fromPath(Paths.get(parquetFilePath)))) {
            ParquetMetadata metadata = reader.getFooter();
            MessageType schema = metadata.getFileMetaData().getSchema();

            // 2. 遍历Schema中的每一列
            for (int colIndex = 0; colIndex < schema.getFieldCount(); colIndex++) {
                Type columnType = schema.getType(colIndex);
                String columnName = columnType.getName();
                String outputFilePath = outputPrefix + colIndex + "_" + columnName + ".txt";

                // 3. 针对当前列创建流式读取器，只读取该列数据
                try (BufferedWriter writer = new BufferedWriter(new FileWriter(outputFilePath))) {
                    // 重置读取器到文件开头，指定只读取当前目标列
                    reader.reset();
                    reader.setRequestedColumns(schema.getColumns().get(colIndex));

                    // 4. 逐页读取列数据，流式写入文本文件
                    while (reader.hasNextRowGroup()) {
                        reader.readNextRowGroup();
                        // 根据列的数据类型处理值，这里覆盖常见类型，你可以按需扩展
                        switch (columnType.getPrimitiveType().getPrimitiveTypeName()) {
                            case INT32:
                                while (reader.getColumnReader(colIndex).hasNext()) {
                                    int value = reader.getColumnReader(colIndex).readInteger();
                                    writer.write(String.valueOf(value));
                                    writer.newLine();
                                }
                                break;
                            case INT64:
                                while (reader.getColumnReader(colIndex).hasNext()) {
                                    long value = reader.getColumnReader(colIndex).readLong();
                                    writer.write(String.valueOf(value));
                                    writer.newLine();
                                }
                                break;
                            case BINARY:
                                while (reader.getColumnReader(colIndex).hasNext()) {
                                    Binary value = reader.getColumnReader(colIndex).readBinary();
                                    writer.write(value.toStringUsingUTF8());
                                    writer.newLine();
                                }
                                break;
                            case DOUBLE:
                                while (reader.getColumnReader(colIndex).hasNext()) {
                                    double value = reader.getColumnReader(colIndex).readDouble();
                                    writer.write(String.valueOf(value));
                                    writer.newLine();
                                }
                                break;
                            // 其他类型比如BOOLEAN、FLOAT等可以自行补充
                            default:
                                throw new UnsupportedOperationException("Unsupported column type: " + columnType);
                        }
                    }
                    System.out.println("已完成列 " + columnName + " 的读取和写入");
                }
            }
        }
    }
}

为什么这是最高效的方式？ #

• 列存储针对性读取：通过setRequestedColumns只加载目标列的块数据，完全跳过其他列的内容，大幅减少IO和内存开销。
• 流式逐页读取：每次只加载Parquet文件中的一个Row Group（数据块），处理完就释放，内存占用始终保持在较低水平，完美适配超大归档文件。
• 原生Parquet API：直接使用官方的ParquetFileReader，避免了中间层（比如Spark、Flink）带来的额外封装开销，性能达到最优。

注意事项 #

• 数据类型扩展：代码里只覆盖了常见类型，你需要根据你的表结构补充其他数据类型的处理逻辑。
• 空值处理：如果列允许空值，需要在读取时判断getColumnReader(colIndex).isCurrentNull()，避免空指针异常。
• IO优化：用BufferedWriter批量写入，减少磁盘IO次数；如果是超大型文件，可以考虑多线程处理不同列（注意ParquetReader不是线程安全的，每个线程要单独创建读取器）。

内容的提问来源于stack exchange，提问作者yetAnotherCoder