为何值完全一致的两个pandas DataFrame用hashlib.sha256计算哈希值不同

你遇到的现象本质是hashlib读取numpy数组时的处理逻辑，和object类型numpy数组的存储结构不匹配导致的：
当你直接将df.values传入sha256()时，哈希函数读取的是numpy数组的原始底层内存缓冲区内容，而非逻辑层面的元素值。而你当前场景中的数组是object dtype，底层存储的是Python对象的内存指针，不是对象本身的内容：

• 你调用np.random.choice(['foo', 'bar', 42], size=(3,4))生成的数组混合了字符串和整数类型，pandas会自动将其转为object dtype的数组，数组每个位置存储的是对应Python对象的内存地址，而非对象本身的存储值
• 两次调用generate_df生成的df1、df2，内部元素虽然值完全相等，但都是独立创建的Python对象，内存地址完全不同
• 哈希函数直接读取底层内存时，拿到的是两组完全不同的地址序列，最终得到的哈希结果自然不同

其他现象的说明 #

• 逐元素==对比返回True：numpy的==运算符对object类型元素会对比实际值，而非内存地址，因此返回全为True
• 自定义hash_df返回相同哈希：你在函数中将df.values转为了字符串，字符串序列化的是每个元素的实际值，和内存地址无关，因此两次生成的字符串内容一致，哈希结果相同

正确的DataFrame值哈希方案 #

如果要基于DataFrame的逻辑值计算哈希，不要直接将numpy数组传入哈希函数，尤其是object dtype的数组，可选用以下方案：

1. 沿用你当前的自定义hash_df逻辑，先将索引、列名、值序列化为字符串再计算哈希
2. 使用pandas内置的哈希工具，原生支持按值计算：

# 计算整个DataFrame的哈希值
pd.util.hash_pandas_object(df1).sum()

3. 如果需要单独对values计算哈希，先将其转为值相关的字节流：

# 转字符串后编码再计算哈希
sha256(str(df1.values).encode()).hexdigest()

# 先转为统一的字符串类型数组，再调用tobytes()（object数组直接调用tobytes()仍然会输出指针值，不可用）
sha256(df1.values.astype(str).tobytes()).hexdigest()

内容的提问来源于stack exchange，提问作者edmz