使用np.unique处理np.int64数组后，跨设备加载元素不匹配问题

这种情况并非numpy的已知预期行为，大概率是字节序不匹配或文件完整性/加载方式导致的问题，以下是具体排查和解决步骤：

1. 排查字节序差异 #

集群服务器和本地笔记本的CPU字节序（大端/小端）可能不同，虽然numpy加载后显示类型为np.int64，但实际存储的字节顺序可能被反转，导致数值看似正常但实际完全不匹配。

执行以下代码验证：

import numpy as np

print("A 详细类型:", A.dtype.str)
print("B 详细类型:", B.dtype.str)
print("A 第一个元素值/十六进制:", A[0], hex(A[0]))
print("B 第一个元素值/十六进制:", B[0], hex(B[0]))

• 如果输出中A和B的dtype字符串不同（比如一个是<i8小端，一个是>i8大端），则确认是字节序问题。

2. 验证文件完整性 #

检查集群上的A.npy/B.npy与本地解压后的文件是否完全一致：

• 在集群上计算文件哈希：md5sum A.npy B.npy
• 在本地执行同样的哈希命令，对比结果是否一致。如果不一致，说明zip压缩/下载/解压过程中文件损坏。

3. 检查numpy版本兼容性 #

确认集群和本地的numpy版本是否差异过大（比如集群用1.18，本地用1.26），部分旧版本在跨字节序存储/加载npy文件时存在兼容性问题。执行print(np.__version__)查看两边版本。

解决方法 #

针对字节序问题 #

将数组转换为本地机器的字节序即可：

A = A.astype(np.int64, copy=False)
B = B.astype(np.int64, copy=False)

或者在加载时显式指定类型：

A = np.load(new_filepath+"/A.npy", dtype=np.int64)
B = np.load(new_filepath+"/B.npy", dtype=np.int64)

针对文件损坏问题 #

重新压缩、下载并解压文件，确保传输过程无中断；或改用更可靠的传输方式（如scp直接传输npy文件，而非打包zip）。

优化加载方式 #

普通numpy数组无需启用allow_pickle=True，该参数仅用于加载包含Python对象的npy文件，去掉该参数可能避免潜在的加载异常：

A = np.load(new_filepath+"/A.npy")
B = np.load(new_filepath+"/B.npy")

内容的提问来源于stack exchange，提问作者user21159470