TypeScript中创建Apache Arrow向量写入Table及TimeSecond、Timestamp向量构建报错解决

• 业务目标：编写通用方法接收data: any[]格式的列原始数据，将其打包为Arrow格式的Array Buffer后存入Arrow Table
• 已验证可正常运行的实现：当列类型为Type.Float64时，可通过Float64Vector.from(toFloat64Array(data))完成向量构建
• 现存报错：
  • 传入TimestampVector.from(data)时触发TS2740错误：Type 'AbstractVector<any>' is missing the following properties from type 'BaseVector<any>': offset, VectorName, values, typeIds, and 7 more
  • 传入DecimalVector.from(data)、TimeSecondVector.from(data)、BinaryVector.from(data)时触发TS2322错误：Type 'AbstractVector<any>' is not assignable to type 'BaseVector<any>'
• 现有文档未找到对应使用指引，需要明确TimeSecondVector、TimestampVector的正确构建流程

Arrow JS 中的逻辑类型向量（含时间类、Decimal类）的内置from方法入参约束为AbstractVector实例，并非原始JS数组或TypedArray。直接传入原始数据会触发类型校验不通过，也就是上述报错的来源。

1. TimeSecondVector #

TimeSecondVector为秒级时间逻辑向量，底层采用32位有符号整数存储秒值，构建步骤如下：

• 先将原始列数据转换为对应底层存储格式的Int32类型TypedArray
• 基于TypedArray实例化底层Int32Vector
• 传入底层向量实例，初始化TimeSecondVector
• 示例实现代码：

import { Int32Vector, TimeSecondVector } from 'apache-arrow';

// 处理传入的any[]原始数据，提取对应的秒级整数值
const rawSeconds = Int32Array.from(data, (item) => Math.trunc(Number(item)));
// 初始化底层物理存储向量
const underlyingVector = new Int32Vector(rawSeconds);
// 初始化目标时间向量
const timeSecondVec = new TimeSecondVector(underlyingVector);

2. TimestampVector #

TimestampVector为时间戳逻辑向量，底层采用64位整数存储对应精度的时间戳值，构建步骤如下：

• 明确目标时间戳的精度（毫秒/微秒/纳秒）与时区配置，实例化对应的Timestamp类型对象
• 将原始列数据转换为BigInt64格式的TypedArray（规避JS Number对64位整数的精度丢失问题）
• 基于TypedArray实例化底层Int64Vector
• 传入匹配的类型对象与底层向量实例，初始化TimestampVector
• 示例实现代码（以毫秒级UTC时间戳为例）：

import { Int64Vector, Timestamp, TimeUnit, TimestampVector } from 'apache-arrow';

// 处理传入的any[]原始数据，提取对应毫秒级时间戳的BigInt值
const rawTimestamps = BigInt64Array.from(data, (item) => {
  const date = item instanceof Date ? item : new Date(item);
  return BigInt(date.getTime());
});
// 初始化底层物理存储向量
const underlyingVector = new Int64Vector(rawTimestamps);
// 配置目标时间戳类型：毫秒精度、UTC时区
const timestampType = new Timestamp(TimeUnit.MILLISECOND, 'UTC');
// 初始化目标时间戳向量
const timestampVec = new TimestampVector(timestampType, underlyingVector);

• 所有逻辑类型向量不要直接调用.from(原始数据数组)方法，该方法的类型约束要求传入的是向量实例，而非原始数据
• 涉及64位整数存储的向量（Int64、Timestamp、大精度Decimal），必须使用BigInt64Array完成原始数据转换，直接使用Number数组会触发精度丢失问题
• 带显式类型参数的向量（如Timestamp、Decimal），需要先实例化对应的Arrow类型对象，再传入向量构造器，不要依赖隐式类型推导

内容的提问来源于stack exchange，提问作者westandy