使用Java parquet-avro库读取PyArrow写入的Parquet文件遇字段缺失问题

我之前也遇到过完全一样的情况！你碰到的其实是Parquet原生读取器默认的“省略空值字段”行为——虽然Schema里包含了所有列，但当某列全为null时，读取器不会主动为这些字段生成键值对，只会输出有实际数据的列。下面给你两种可行的解决方案：

方案一：用parquet-avro库并开启读取所有字段的配置 #

这是最简洁的解决方式，parquet-avro提供了专门的配置来强制读取Schema中的所有字段，包括空值列。你只需要在创建读取器时添加readAllFields的配置：

import org.apache.parquet.avro.AvroParquetReader;
import org.apache.parquet.avro.AvroReadSupport;
import org.apache.parquet.hadoop.ParquetReader;
import org.apache.parquet.hadoop.util.HadoopInputFile;
import org.apache.avro.generic.GenericRecord;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public static List<GenericRecord> readParquetWithAllFields(String filePath) throws IOException {
    Configuration conf = new Configuration();
    // 关键配置：强制读取Schema中的所有字段，包括空值列
    AvroReadSupport.setReadAllFields(conf, true);
    
    ParquetReader<GenericRecord> reader = AvroParquetReader.<GenericRecord>builder(
            HadoopInputFile.fromPath(new Path(filePath), conf)
        )
        .withConf(conf)
        .build();
    
    List<GenericRecord> records = new ArrayList<>();
    GenericRecord record;
    while ((record = reader.read()) != null) {
        records.add(record);
    }
    reader.close();
    return records;
}

用这种方式读取后，所有列（包括你的colors、dates和全null的codes）都会出现在结果中，空值列会显示为null。

方案二：手动为SimpleGroup补充空字段（如果你坚持用原生读取方式） #

如果不想切换到Avro读取器，你可以在读取完SimpleGroup后，手动遍历Schema的所有字段，为不存在的字段补充null值：

// 假设你已经通过原代码读取到了simpleGroups和fields列表
List<Map<String, Object>> fullData = new ArrayList<>();
for (SimpleGroup group : simpleGroups) {
    Map<String, Object> rowMap = new HashMap<>();
    for (Type field : fields) {
        String fieldName = field.getName();
        try {
            // 尝试获取字段值，空值列会抛出异常
            Object value = group.getValue(fieldName, 0);
            rowMap.put(fieldName, value);
        } catch (RuntimeException e) {
            // 捕获异常，说明该字段为空，手动放入null
            rowMap.put(fieldName, null);
        }
    }
    fullData.add(rowMap);
}

这样处理后，每个行数据都会包含Schema中的所有字段，不会再出现缺失的情况。

补充说明 #

之所以会出现这个问题，是因为Parquet是列式存储格式：当某列全为null时，PyArrow写入时不会为该列生成任何数据块（这是合理的空间优化）。而原生的SimpleGroup读取器只会解析存在数据块的列，所以不会主动生成空字段的键值对。而parquet-avro的readAllFields配置就是专门用来关闭这种“优化”，强制匹配Schema的所有字段。

内容的提问来源于stack exchange，提问作者Abhishek