如何无需逐个映射值即可将PyArrow整数列转换为分类列

当然可以实现！我之前也碰到过类似的需求——不想多做一步map操作再转分类，PyArrow其实提供了更直接的方式：利用它的**字典类型（DictionaryType）**来完成转换，直接让表识别整数到字符串的映射，无需先逐个映射值。

下面是具体的实现步骤和示例：

核心思路 #

PyArrow中的DictionaryType就是分类类型的底层实现，我们可以提前基于你的映射字典定义好这个类型，然后直接将整数列转换为该类型，一步到位完成整数到分类字符串的转换。

1. 定义映射字典与目标类型 #

首先准备好你的整数到字符串的映射，然后基于这个映射创建DictionaryType：

import pyarrow as pa

# 示例：整数到分类字符串的映射
value_mapping = {0: "苹果", 1: "香蕉", 2: "橙子", 3: "葡萄"}

# 定义字典类型：索引类型为整数列的类型（比如int32），值类型为字符串
# ordered=False表示分类是无序的，根据你的需求调整
dict_type = pa.DictionaryType(
    index_type=pa.int32(),  # 要和你的整数列类型完全匹配
    value_type=pa.string(),
    ordered=False
)

小提示：如果你的映射字典的键是连续整数，也可以直接从键值对数组创建DictionaryType：

index_array = pa.array(list(value_mapping.keys()))
value_array = pa.array(list(value_mapping.values()))
dict_type = pa.DictionaryType.from_arrays(index_array, value_array, ordered=False)

2. 直接转换整数列为分类列 #

接下来就可以把整数列直接cast到预定义的DictionaryType，不需要额外的map操作：

# 假设你的原始表是table，整数列名为"int_category"
original_table = pa.table({"int_category": [0, 1, 2, 1, 0, 3]})

# 一步转换为分类列
categorical_column = original_table["int_category"].cast(dict_type)

# 替换原表的列，或者创建新表
new_table = original_table.set_column(
    original_table.column_names.index("int_category"),
    "category_str",  # 新列名
    categorical_column
)

3. 验证转换结果 #

运行后你可以查看新表的结构和数据，确认转换成功：

print(new_table)
print("\n列类型：", new_table["category_str"].type)

输出会显示列已经变成了dictionary<int32, string>类型，值就是映射后的分类字符串，完全符合需求。

注意事项 #

• 如果整数列中存在映射字典里没有的键，默认cast操作会将这些值转为null。如果需要严格校验，可以设置safe=False，此时遇到未映射值会直接抛出错误：

  # 严格模式：存在未映射值时抛出错误
  categorical_column = original_table["int_category"].cast(dict_type, safe=False)
  

• PyArrow的DictionaryType和pandas的Categorical类型完全兼容，当你把表转换为pandas DataFrame时，该列会自动转为pandas分类类型。

备注：内容来源于stack exchange，提问作者Galedon