Pandas验证DataFrame列十六进制值遇大数溢出问题求助

嘿，这个问题我碰到过！其实问题出在Pandas的apply会尝试将转换结果存入numpy数值类型的Series，而numpy的整数类型（比如int64）有固定范围，当你的十六进制字符串转成整数后超出这个范围时，就会触发溢出异常。但直接在控制台用Python原生int()是没问题的，因为Python的int支持任意精度的大整数。

下面给你两种靠谱的解决办法：

方法1：只做有效性检查，不保留大整数 #

既然你的需求是验证列中所有值是否都是十六进制，那我们不需要保存转换后的大整数，只需要返回布尔值判断是否可转换即可：

def is_valid_hex(value):
    try:
        # 只做转换验证，不需要返回结果
        int(value, 16)
        return True
    except (ValueError, TypeError):
        # 处理非字符串、格式错误等情况
        return False

# 检查整列是否全部为有效的十六进制值
all_values_hex = data_df[column_name].apply(is_valid_hex).all()
ok = all_values_hex

这样apply返回的是布尔类型的Series，完全不会涉及大整数的存储，也就不会有溢出问题。

方法2：用正则表达式匹配（效率更高） #

如果你的十六进制字符串没有特殊前缀（比如0x），可以用正则直接匹配格式，避免转换操作，速度会更快：

import re

# 匹配大小写的十六进制字符串，可根据需求调整（比如允许0x前缀）
hex_regex = re.compile(r'^[0-9a-fA-F]+$')

# 用str.match检查每个元素是否匹配正则
all_values_hex = data_df[column_name].str.match(hex_regex).all()
ok = all_values_hex

如果需要支持0x前缀，把正则改成r'^(0x)?[0-9a-fA-F]+$'就行。

为什么原来的代码会溢出？ #

你原来的代码中，column.apply(lambda x: int(x,16))会生成一个由转换后整数组成的Series。Pandas默认会尝试把这个Series转换成numpy的数值类型（比如int64），当转换后的整数超过int64的范围（-9223372036854775808到9223372036854775807）时，就会触发溢出。而直接在控制台执行int(x,16)是用Python原生int，没有范围限制，所以不会报错。

内容的提问来源于stack exchange，提问作者lukas_o