Pandas DataFrame中如何将object类型超大数字转换为int类型

Numpy原生仅提供最高64位的跨平台整数类型，最大支持取值范围为-9223372036854775808 ~ 9223372036854775807，示例中col2的数值远大于该上限，因此调用astype(np.int64)、pd.to_numeric()默认逻辑时会触发溢出错误。

注意：部分64位平台的Numpy会提供np.int128类型，但该类型无跨平台兼容性（Windows系统下Numpy无该类型实现），且Pandas对np.int128的适配存在大量缺陷，排序、分组、序列化等操作均可能出现异常，不建议生产环境使用。
浮点数类型（包括np.longdouble）存在固定有效位数限制，存储超大整数必然出现精度损失，无法满足精确存储需求。

方案1：零依赖快速实现（Python原生int存储） #

Python原生int默认支持任意精度，不存在溢出问题，直接逐元素转换即可：

d = {'col1': [2, 0], 'col2': ['51578544061302681992337164', '3323221002002020200202020202']} 
df = pd.DataFrame(data=d)

# 逐元素转换为Python原生整数
df['col2'] = df['col2'].apply(int)

• 优点：无任何额外依赖，零精度损失，支持任意长度的整数，基础比较、算术运算均可正常执行
• 缺点：列类型为object，运算时为逐元素Python对象调度，性能远低于原生数值类型，不适合超大数据量的复杂向量化计算

方案2：高性能生产级方案（PyArrow后端大整数） #

PyArrow提供了最高256位的整数类型（支持范围±5.78e76），足以覆盖绝大多数超大整数业务场景，且与Pandas深度集成，运算性能接近Numpy原生类型，全平台兼容。
首先安装依赖：

pip install pyarrow

转换代码：

import pandas as pd

d = {'col1': [2, 0], 'col2': ['51578544061302681992337164', '3323221002002020200202020202']} 
df = pd.DataFrame(data=d)

# 自动适配位宽转换为PyArrow整数类型
df['col2'] = pd.to_numeric(df['col2'], dtype_backend='pyarrow')

# 如果自动识别位宽不足，可手动指定256位整数
# import pyarrow as pa
# df['col2'] = pd.to_numeric(df['col2'], dtype=pa.int256())

• 优点：内存占用低、运算性能高，支持Pandas绝大多数向量化操作，跨平台兼容性好
• 缺点：受int256固定位宽限制，无法存储超过256位表示范围的超大整数

方案3：超256位整数场景 #

如果需要存储的整数超过256位范围，且需要做数值计算，可选择两种思路：

• 按高低位拆分大整数为多列64位整数存储，计算时自行实现进位逻辑
• 基于gmpy2等任意精度计算库自定义Pandas扩展类型，实现成本较高，仅适合特殊专业场景

内容的提问来源于stack exchange，提问作者mc-sq