Pyarrow表连接因int8与int16类型不兼容报错的解决方法

核心方案：转换连接键的数据类型 #

PyArrow提供了cast方法用于转换列的数据类型，只需将其中一个表的连接键列转换为与另一个表匹配的类型，即可正常执行连接操作。

方法1：将表A的A_id转换为int16（推荐，避免数据溢出）

如果A_id的数值范围可以被int16覆盖，优先选择向上转换，避免丢失数据：

import pyarrow as pa

# 替换A表中的A_id列为int16类型
A_cast = A.set_column(
    A.schema.get_field_index("A_id"),  # 获取A_id列的索引
    "A_id",  # 列名保持不变
    A["A_id"].cast(pa.int16())  # 执行类型转换
)

# 执行表连接
result = A_cast.join(right_table=B, keys="A_id", right_keys="B_id")

方法2：将表B的B_id转换为int8（需确认数据范围）

如果能确定B_id的所有数值都在int8的范围内（-128到127），可以选择向下转换以节省内存：

import pyarrow as pa

# 替换B表中的B_id列为int8类型
B_cast = B.set_column(
    B.schema.get_field_index("B_id"),
    "B_id",
    B["B_id"].cast(pa.int8())
)

# 执行表连接
result = A.join(right_table=B_cast, keys="A_id", right_keys="B_id")

注意事项 #

• 转换前务必确认数据范围：int8的取值范围远小于int16，向下转换可能导致数值溢出，丢失数据。
• 如果需要批量转换多列，可以使用Table.cast()方法，但单列转换用set_column更高效。

内容的提问来源于stack exchange，提问作者daniel guo