You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何在Pandas中直接基于Series生成pyarrow string类型的新列

如何在Pandas中直接基于Series生成pyarrow string类型的新列

我来分享几个能直接生成pyarrow string类型Series的方法,完美避开先创建object类型中间列的问题:


方法一:用replace()直接指定目标dtype

这是最简洁的方式,Pandas的replace()方法支持直接传入dtype参数,一步到位生成pyarrow string类型的结果:

import pandas as pd

s = pd.Series([1, 2, 1, 2])
names = {1: 'Creative', 2: 'VeriFone'}

# 直接指定dtype为pyarrow string
result = s.replace(names, dtype='string[pyarrow]')

print(result)
# 输出:
# 0    Creative
# 1    VeriFone
# 2    Creative
# 3    VeriFone
# dtype: string

print(result.dtype)
# 输出:string[pyarrow]

这个方法底层会直接按指定的dtype处理映射,不会生成额外的object类型中间列,代码也最直观。


方法二:基于pyarrow原生API处理

如果需要更贴近pyarrow的原生操作流程,可以全程用pyarrow的数组转换和映射函数,再转成Pandas Series:

import pandas as pd
import pyarrow as pa

s = pd.Series([1, 2, 1, 2])
names = {1: 'Creative', 2: 'VeriFone'}

# 将原Series转为pyarrow数组
pa_source_arr = pa.array(s.to_numpy())
# 用pyarrow的map_dict完成映射
pa_mapped_arr = pa.compute.map_dict(pa_source_arr, names)
# 直接转为指定dtype的Pandas Series
result = pd.Series(pa_mapped_arr, dtype='string[pyarrow]')

这种方法适合需要结合更多pyarrow计算逻辑的场景,全程在pyarrow的数组体系内处理,性能表现也更优。


补充说明

需要注意的是,Pandas在显示pyarrow string类型的dtype时,有时会简化显示为string,但你可以通过result.dtype查看完整类型,确认确实是string[pyarrow]而非普通的object类型。

备注:内容来源于stack exchange,提问作者Miki Tebeka

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.22 13:38:11