在C++中如何忽略行序比较两个Apache Arrow表？或排序后对比？

一、忽略行序比对两个arrow::Table #

直接调用table1.Equals(table2)会因为行序差异返回false，这里提供两种实用解决方案：

方案1：排序后调用Equals（推荐，准确性最高） #

先把两个表按所有列统一排序，让行序一致后再用原生的Equals方法比对，这是单元测试场景下最可靠的方式（测试数据量通常不大，排序成本可忽略）。

方案2：行哈希集合比对（适合大数据量场景） #

如果表数据量极大，排序成本过高，可以计算每行的哈希值，再对比两个表的哈希集合是否完全一致。注意：哈希存在极小概率冲突，追求绝对准确的话优先选方案1。

二、按所有列对arrow::Table排序的C++实现 #

要按所有列排序，需构造包含全部列的排序键，调用Arrow的排序API：

#include <arrow/table.h>
#include <arrow/compute/api.h>

// 按表的所有列升序排序
arrow::Result<std::shared_ptr<arrow::Table>> SortTableByAllColumns(const std::shared_ptr<arrow::Table>& table) {
    // 收集所有列的索引作为排序键
    std::vector<int> sort_col_indices;
    for (int i = 0; i < table->num_columns(); ++i) {
        sort_col_indices.push_back(i);
    }

    // 构造排序规则（默认升序，需降序可修改SortOrder为Descending）
    std::vector<arrow::compute::SortKey> sort_keys;
    for (int idx : sort_col_indices) {
        sort_keys.emplace_back(idx, arrow::compute::SortOrder::Ascending);
    }

    // 执行排序并返回结果
    return arrow::compute::Sort(table, sort_keys);
}

三、完整的忽略行序比对工具函数 #

把排序与比对逻辑封装成工具函数，方便单元测试调用：

#include <arrow/table.h>
#include <arrow/compute/api.h>

bool TablesEqualIgnoreOrder(const std::shared_ptr<arrow::Table>& table1, const std::shared_ptr<arrow::Table>& table2) {
    // 先校验表结构是否一致（列数、类型、名称）
    if (!table1->schema()->Equals(*table2->schema())) {
        return false;
    }

    // 校验行数是否一致
    if (table1->num_rows() != table2->num_rows()) {
        return false;
    }

    // 空表直接返回一致
    if (table1->num_rows() == 0) {
        return true;
    }

    // 对两个表按全列排序
    auto sorted_table1 = SortTableByAllColumns(table1);
    auto sorted_table2 = SortTableByAllColumns(table2);

    if (!sorted_table1.ok() || !sorted_table2.ok()) {
        return false;
    }

    // 比对排序后的表
    return sorted_table1.ValueOrDie()->Equals(*sorted_table2.ValueOrDie());
}

注意：如果表中包含非可排序类型（如二进制、自定义类型），需确保该类型支持Arrow的排序操作，否则需自定义排序逻辑或调整比对依据。

内容的提问来源于stack exchange，提问作者Hesky Fisher