如何在Apache Arrow计算函数中从RecordBatch获取Array而非ArrayData
解决Apache Arrow中从Datum提取并打印Array的问题
你遇到的问题核心是:my_datum.array()返回的是**arrow::ArrayData指针**,而非arrow::Array对象,而ArrayData没有ToString()方法——ToString()是arrow::Array类提供的高层接口。
方法一:转换为通用Array对象并打印
使用arrow::MakeArray工具函数,将ArrayData转换为arrow::Array的智能指针,即可调用ToString():
// 将Datum中的ArrayData转换为Array对象 std::shared_ptr<arrow::Array> result_array = arrow::MakeArray(my_datum.array()); // 打印Array的字符串表示 std::cout << result_array->ToString() << std::endl;
方法二:转为特定类型Array直接访问元素
如果你明确知道结果是int64类型,可以转为arrow::Int64Array,直接遍历访问元素,效率更高:
// 转换为Int64类型的Array auto int64_result = std::static_pointer_cast<arrow::Int64Array>(arrow::MakeArray(my_datum.array())); // 遍历打印每个元素(处理空值) for (int64_t idx = 0; idx < int64_result->length(); ++idx) { if (int64_result->IsNull(idx)) { std::cout << "null "; } else { std::cout << int64_result->Value(idx) << " "; } } std::cout << std::endl;
补充说明
arrow::Datum是一个通用容器,可能存储多种类型的数据(Array、Scalar、RecordBatch等)。当确认它存储的是Array类型时,my_datum.kind()会返回arrow::Datum::ARRAY,此时用arrow::MakeArray转换是安全的。
内容的提问来源于stack exchange,提问作者Kick Knete
相关产品推荐
相关产品推荐

