Apache Arrow中同行数Table横向合并：解决ConcatenateTables返回空值的问题

你用arrow::ConcatenateTables出错是因为用错了API——这个函数是用来纵向拼接表的（把一个表的行追加到另一个表末尾），而你需要的是横向合并列（行数相同的情况下，把两个表的列拼在一起）。纵向拼接时，第一个表没有colC/colD，第二个表没有colA/colB，所以这些位置会被填充空值，这就是你看到的问题。

下面是两种正确的横向拼接方法：

方法一：使用arrow::Table::Combine（推荐，适用于较新版本的Arrow） #

这个方法是Arrow专门为横向合并行数相同的表设计的，用法很简单：

std::shared_ptr<arrow::Table> t1 = ...;
std::shared_ptr<arrow::Table> t2 = ...;

// 先检查两个表行数是否一致（可选，但能提前避免错误）
ARROW_CHECK_EQ(t1->num_rows(), t2->num_rows());

// 执行横向合并
auto merged_result = arrow::Table::Combine({t1, t2});
if (!merged_result.ok()) {
    std::cerr << "合并失败：" << merged_result.status().message() << std::endl;
    // 这里可以添加错误处理逻辑
    return;
}
std::shared_ptr<arrow::Table> merged_table = merged_result.ValueOrDie();

方法二：手动合并列（兼容旧版本Arrow） #

如果你的Arrow版本没有Combine方法，可以手动收集两个表的所有列，再创建新表：

std::shared_ptr<arrow::Table> t1 = ...;
std::shared_ptr<arrow::Table> t2 = ...;

ARROW_CHECK_EQ(t1->num_rows(), t2->num_rows());

// 收集所有列
std::vector<std::shared_ptr<arrow::Column>> all_columns;
all_columns.reserve(t1->num_columns() + t2->num_columns());

// 加入t1的所有列
for (const auto& col : t1->columns()) {
    all_columns.push_back(col);
}
// 加入t2的所有列
for (const auto& col : t2->columns()) {
    all_columns.push_back(col);
}

// 创建合并后的表
auto merged_table = arrow::Table::Make(
    arrow::schema(all_columns),
    all_columns,
    t1->num_rows()
);

这两种方法都会把两个表的列按顺序合并，因为行数一致，每一行的对应数据会正确匹配，最终得到你预期的合并表结构。

内容的提问来源于stack exchange，提问作者marital_weeping