Apache Arrow C++读取Parquet Min/Max统计值：优化与类型检测

一、更安全的实现方式 #

你当前的代码使用static_cast直接转换类型，存在类型不匹配时触发未定义行为的风险。更优的实现会增加安全检查，并提升代码复用性：

// 获取行组和列块元数据
auto row_group = file_metadata->RowGroup(0);
auto column_chunk = row_group->ColumnChunk(0);
auto stats = column_chunk->statistics();

if (stats) {
    // 先校验列类型是否匹配目标类型
    if (column_chunk->type()->Equals(arrow::int32())) {
        // 使用dynamic_cast做安全转换，失败时返回空指针
        auto typed_stats = dynamic_cast<const parquet::TypedStatistics<arrow::Int32Type>*>(stats.get());
        if (typed_stats) {
            // 先检查统计值是否存在，避免访问未初始化的数据
            if (typed_stats->has_min()) {
                std::cout << "Min(0): " << typed_stats->min() << std::endl;
            }
            if (typed_stats->has_max()) {
                std::cout << "Max(0): " << typed_stats->max() << std::endl;
            }
        }
    }
}

关键优化点：

• 用dynamic_cast替代static_cast，类型不匹配时返回空指针，避免崩溃
• 增加has_min()/has_max()检查，部分Parquet文件可能未生成统计值
• 先校验列类型，确保转换逻辑的合法性

二、自动检测数据类型，避免大量if/else #

不需要为每种类型手动编写分支逻辑，可以利用Arrow的**类型访问器（TypeVisitor）**机制，结合模板自动处理不同类型的统计值：

通用统计值打印实现 #

#include <parquet/statistics.h>
#include <arrow/type.h>
#include <iostream>

// 定义访问器类，处理不同类型的统计值
struct StatsPrinter {
    // 针对支持的TypedStatistics类型的处理逻辑
    template <typename ArrowType>
    void operator()(const parquet::TypedStatistics<ArrowType>* stats, int column_idx) const {
        using ValueType = typename ArrowType::c_type;
        if (stats->has_min()) {
            std::cout << "Min(" << column_idx << "): " << stats->min() << std::endl;
        }
        if (stats->has_max()) {
            std::cout << "Max(" << column_idx << "): " << stats->max() << std::endl;
        }
    }

    // 处理不支持的类型或无类型统计的情况
    void operator()(const parquet::Statistics* stats, int column_idx) const {
        std::cout << "Column " << column_idx << ": 无可用类型统计或不支持该数据类型" << std::endl;
    }
};

// 封装的通用打印函数
void PrintColumnStats(const parquet::ColumnChunkMetaData* column_chunk, int column_idx) {
    auto stats = column_chunk->statistics();
    if (!stats) {
        std::cout << "Column " << column_idx << ": 无统计数据" << std::endl;
        return;
    }

    // 自动根据列类型分发到对应处理逻辑
    arrow::VisitTypeInline(*column_chunk->type(), [&](const auto& concrete_type) {
        using ConcreteType = typename std::decay_t<decltype(concrete_type)>::type;
        auto typed_stats = dynamic_cast<const parquet::TypedStatistics<ConcreteType>*>(stats.get());
        if (typed_stats) {
            StatsPrinter{}(typed_stats, column_idx);
        } else {
            StatsPrinter{}(stats.get(), column_idx);
        }
    });
}

// 使用示例
// auto file_metadata = ...; // 已加载的Parquet文件元数据
// for (int i = 0; i < file_metadata->num_columns(); ++i) {
//     auto row_group = file_metadata->RowGroup(0);
//     auto column_chunk = row_group->ColumnChunk(i);
//     PrintColumnStats(column_chunk, i);
// }

原理说明 #

• arrow::VisitTypeInline会自动识别列的Arrow数据类型，分发到对应的模板分支
• 模板函数StatsPrinter::operator()可以统一处理所有支持的数值类型（Int32、Int64、Float32等），无需手动添加类型判断分支
• 兼容未生成统计值或不支持的类型，避免程序异常

内容的提问来源于stack exchange，提问作者Alberto Pires