Apache Arrow JS中toArray()返回Proxy对象而非数据，求高效解法

你遇到的低效问题根源在于手动遍历Proxy对象的属性并频繁创建新对象：Object.keys(c)会触发Proxy对所有属性的枚举，...acc每次迭代都生成新对象，加上逐行访问列数据的方式没有利用Arrow的列式存储优势，导致性能低下。

高效方案1：直接使用RowProxy的toJSON()方法 #

Arrow返回的Proxy对象（实际是RowProxy）内置了优化后的toJSON()方法，能直接将行数据转为普通键值对对象，性能远高于手动遍历：

import { tableFromIPC } from 'apache-arrow'

const arrowTable = await tableFromIPC(arrowResults)
// 直接调用toJSON()转换每一行
const output = arrowTable.toArray().map(row => row.toJSON())

高效方案2：利用列式存储特性批量转换 #

因为Arrow是列式存储，按列批量提取数据再组装成行对象，能最大化利用其性能优势，适合大数据量场景：

import { tableFromIPC } from 'apache-arrow'

const arrowTable = await tableFromIPC(arrowResults)
const columnNames = arrowTable.schema.fields.map(field => field.name)
const columns = columnNames.map(name => arrowTable.get(name).toArray())

// 按列组装行数据
const output = Array.from({ length: arrowTable.numRows }, (_, rowIndex) => {
  const row = {}
  columnNames.forEach((name, colIndex) => {
    row[name] = `${columns[colIndex][rowIndex]}` // 保留你原来的字符串转换逻辑
  })
  return row as CellInfo
})

为什么原来的方法慢？ #

• Object.keys(c)会触发Proxy对所有列的枚举，而Arrow的RowProxy是懒加载访问，每一次属性访问都会从对应的列数据中查找，多次访问会重复计算。
• ...acc每次迭代都创建新对象，带来大量内存分配和垃圾回收开销。
• 逐行处理没有利用Arrow列式存储的高效批量访问特性，列式处理能一次性加载整列数据，减少底层IO和计算次数。

内容的提问来源于stack exchange，提问作者LCIII