使用pandasql按prod cat统计去重Product ID数时遇int转换过大错误求助

先还原下你的场景：
你的示例数据看起来完全正常，7位的Product ID怎么看都不会触发“整数过大”的错误：

print(data[['Product ID','prod cat']].head())

输出：

Product ID  prod cat
0    3488319  kew_31839
1    5250340   kew_6086
2    3500693  kew_30077
3    3500693  kew_30077
4    3500693  kew_30077

但你自己写的统计不同Product ID数量的代码抛出了**"int too large to convert"，而用pandas原生的groupby('prod cat')['Product ID'].nunique()却完全没问题——这问题我之前碰到过，大概率不是Product ID本身的数值问题，而是类型转换或者代码逻辑的隐藏坑**。

排查步骤&原因分析 #

1. 先查Product ID的真实数据类型和极值 #

你看到的前5行都是小数字，但数据集后面可能藏着超大值，或者列的类型不是你以为的Python整数：

# 检查数据类型
print(data['Product ID'].dtype)
# 检查最大/最小值
print(data['Product ID'].max())
print(data['Product ID'].min())

• 如果dtype是object：说明你的Product ID可能是字符串形式的数字，某些代码在转换为整数时可能触发溢出（比如用了numpy的int32类型，而字符串转成的数字超过了int32的上限2147483647）。
• 如果max()结果超过2147483647：哪怕是9位数字，也会超出int32的范围，而你自己的代码可能在底层用了int32类型处理，而pandas的nunique默认用int64或者Python原生int，所以没问题。

2. 检查你自己的代码逻辑 #

大概率是你的代码在统计去重数量时，不小心用了需要类型转换的方法，比如：

• 误用了numpy的unique但指定了过小的dtype
• 手动循环时把Product ID当成数值累加（而不是去重计数）
• 用了某些第三方库的聚合函数，默认用了小整数类型

解决方案 #

方案1：直接用pandas原生方法（最省心） #

既然nunique已经能正常工作，直接用它就好，pandas内部已经做了类型兼容处理：

# 正确的统计代码
unique_product_counts = data.groupby('prod cat')['Product ID'].nunique()
print(unique_product_counts)

方案2：修复数据类型 #

如果必须用自己的代码，先把Product ID转换成支持大整数的类型：

# 转换为pandas支持的大整数类型（支持缺失值）
data['Product ID'] = data['Product ID'].astype('Int64')
# 或者转换为numpy的int64类型
import numpy as np
data['Product ID'] = data['Product ID'].astype(np.int64)

方案3：修改自定义代码的类型处理 #

如果是用numpy处理去重，记得指定dtype=np.int64：

import numpy as np
result = {}
for cat in data['prod cat'].unique():
    # 提取当前分类的Product ID，指定为int64类型
    ids = data[data['prod cat'] == cat]['Product ID'].to_numpy(dtype=np.int64)
    # 统计去重数量
    result[cat] = len(np.unique(ids))
print(result)

内容的提问来源于stack exchange，提问作者user3476463