含int8列的Pandas DataFrame算术运算结果不一致问题

这不是你的编码问题，是Pandas的设计权衡 #

Pandas的这种表现并非不一致，而是基于性能、内存开销与结果准确性的设计决策：

• df.sum()这类聚合函数：优先保证结果正确，会自动将输入 dtype 提升为更高精度的类型（如int64）。因为聚合结果通常是单个或少量值，内存开销可以忽略，准确性优先级更高。
• 元素级算术运算（+、*等）：默认遵循输入列的 dtype。这是因为你选择int8就是为了节省内存，隐式提升类型会违背这个初衷，同时向量化运算的性能也会受影响。当运算结果超出int8的范围（-128~127）时，就会触发整数溢出，得到错误的环绕值（比如100+50=-106）。

避免溢出错误的几种方法 #

1. 手动转换为高精度类型后运算 #

在运算前，先将列转换为int32或int64类型，保证运算不会溢出：

import pandas as pd
import numpy as np

df = pd.DataFrame({'a': np.int8([100, 20]), 'b': np.int8([50, 30])})
# 先转类型再运算
result = df['a'].astype('int64') + df['b'].astype('int64')
print(result)  # 输出 0    150；1     50，结果正确

2. 使用Pandas的算术方法指定dtype #

Pandas的add、mul等方法支持通过dtype参数指定运算后的类型，直接在运算时提升精度：

# 用add方法指定运算类型为int64
result = df['a'].add(df['b'], dtype='int64')

3. 提前选择合适的 dtype #

如果你的业务场景经常需要对列进行算术运算，建议一开始就选择精度更高但内存开销仍可控的类型（比如int32），避免后续频繁转换：

# 创建DataFrame时直接用int32
df = pd.DataFrame({'a': np.int32([100, 20]), 'b': np.int32([50, 30])})
# 直接运算不会溢出
print(df['a'] + df['b'])  # 输出 [150 50]

4. 启用溢出检查（可选） #

如果你想在溢出时直接报错而不是得到错误结果，可以结合NumPy的溢出检查机制：

from numpy import int8

def safe_add(x, y):
    return int8(x + y)  # 当溢出时会抛出UFuncOutputCastingError

# 应用到列上（注意：这种方法会牺牲向量化性能，适合小数据集）
result = df.apply(lambda row: safe_add(row['a'], row['b']), axis=1)

内容的提问来源于stack exchange，提问作者Anirban Chakraborty