如何高效低内存地对两个二维NumPy数组逐元素执行XOR运算？

我对XOR运算不太熟悉，现在需要一种高效且低内存占用的方式，对两个二维NumPy数组进行逐元素XOR运算。

示例数组 #

import numpy as np

# Example arrays
u_values = np.array([[True, True, True, True, True, True, False, True, True, True],
                     [True, True, True, True, True, True, True, False, False, True],
                     [True, True, True, True, False, True, False, True, True, True],
                     [True, True, True, True, False, True, True, False, False, True],
                     [True, True, True, True, True, False, False, False, False, True],
                     [True, True, True, False, False, False, False, False, False, True],
                     [True, False, False, False, False, False, False, False, False, True],
                     [True, True, False, True, False, True, False, True, True, True]])

v_values = np.array([[True, True, True, True, True, True, False, True, True, True],
                     [True, False, True, False, True, True, True, False, False, True],
                     [True, True, True, True, False, True, False, True, True, True],
                     [True, False, True, True, False, False, True, False, False, True],
                     [True, True, False, True, True, False, False, False, False, True],
                     [True, True, True, False, False, True, False, False, False, True]])

已尝试的方法 #

方法1：广播运算 #

u_reshaped = u_values[:, None, :]
v_reshaped = v_values[None, :, :]
xor_result = u_reshaped ^ v_reshaped
xor_results = xor_result.reshape((-1, xor_result.shape[2]))

方法2：打包比特节省内存 #

u_values_packed = np.packbits(u_values, axis=1)
v_values_packed = np.packbits(v_values, axis=1)
result_packed = u_values_packed[:, None, :] ^ v_values_packed[None, :, :]

result_packed = result_packed.reshape((-1, result_packed.shape[2]))
result_unpacked = np.unpackbits(result_packed, axis=1)[:, :u_values.shape[1]]

遇到的内存错误 #

numpy.core._exceptions.MemoryError: Unable to allocate 959. GiB for an array with shape (2788, 1813, 203769) and data type uint8

预期输出（维度(48,10)） #

[[False False False False False False False False False False]
 [False  True False  True False False  True  True  True False]
 [False False False False  True False False False False False]
 [False  True False False  True  True  True  True  True False]
 [False False  True False False  True False  True  True False]
 [False False False  True  True False False  True  True False]
 [False False False False False False  True  True  True False]
 [False  True False  True False False False False False False]
 [False False False False  True False  True  True  True False]
 [False  True False False  True  True False False False False]
 [False False  True False False  True  True False False False]
 [False False False  True  True False  True False False False]
 [False False False False  True False False False False False]
 [False  True False  True  True False  True  True  True False]
 [False False False False False False False False False False]
 [False  True False False False  True  True  True  True False]
 [False False  True False  True  True False  True  True False]
 [False False False  True False False False  True  True False]
 [False False False False  True False  True  True  True False]
 [False  True False  True  True False False False False False]
 [False False False False False False  True  True  True False]
 [False  True False False False  True False False False False]
 [False False  True False  True  True  True False False False]
 [False False False  True False False  True False False False]
 [False False False False False  True False  True  True False]
 [False  True False  True False  True  True False False False]
 [False False False False  True  True False  True  True False]
 [False  True False False  True False  True False False False]
 [False False  True False False False False False False False]
 [False False False  True  True  True False False False False]
 [False False False  True  True  True False  True  True False]
 [False  True False False  True  True  True False False False]
 [False False False  True False  True False  True  True False]
 [False  True False  True False False  True False False False]
 [False False  True  True  True False False False False False]
 [False False False False False  True False False False False]
 [False  True  True  True  True  True False  True  True False]
 [False False  True False  True  True  True False False False]
 [False  True  True  True False  True False  True  True False]
 [False False  True  True False False  True False False False]
 [False  True False  True  True False False False False False]
 [False  True  True False False  True False False False False]
 [False False  True False  True False False False False False]
 [False  True  True  True  True False  True  True  True False]
 [False False  True False False False False False False False]
 [False  True  True False False  True  True  True  True False]
 [False False False False  True  True False  True  True False]
 [False False  True  True False False False  True  True False]]

1. 分块处理（核心思路：避免一次性生成全量结果） #

内存错误源于一次性生成了(2788, 1813, 203769)的超大中间数组。分块处理将大数组拆分成小块，逐块计算后合并，大幅降低内存峰值。

示例代码：

def chunked_xor(u, v, chunk_size=100):
    results = []
    # 按u的行分块
    for u_chunk in np.array_split(u, np.ceil(u.shape[0]/chunk_size).astype(int), axis=0):
        # 当前块与v的所有行做XOR
        chunk_result = u_chunk[:, None, :] ^ v[None, :, :]
        # 展平后加入结果列表
        results.append(chunk_result.reshape(-1, u.shape[1]))
    # 合并所有块结果
    return np.vstack(results)

# 使用示例
final_result = chunked_xor(u_values, v_values, chunk_size=2)

• 调整chunk_size：根据内存情况设置，内存越小则chunk_size越小。
• 优势：内存峰值仅为单块计算所需，远低于全量计算。

2. 利用布尔数组的内存优势 #

NumPy的bool类型仅占1字节/元素，确保输入数组为bool类型，避免不必要的类型转换，最大化内存效率。

3. 分块+打包比特双重优化 #

在分块基础上结合packbits，将内存占用压缩到原布尔数组的1/8（每个字节存8个布尔值）：

def packed_chunked_xor(u, v, chunk_size=100):
    # 先打包输入数组
    u_packed = np.packbits(u, axis=1)
    v_packed = np.packbits(v, axis=1)
    results = []
    for u_chunk in np.array_split(u_packed, np.ceil(u_packed.shape[0]/chunk_size).astype(int), axis=0):
        chunk_packed = u_chunk[:, None, :] ^ v_packed[None, :, :]
        # 展平后解包，只保留原长度的比特
        chunk_unpacked = np.unpackbits(chunk_packed.reshape(-1, chunk_packed.shape[2]), axis=1)[:, :u.shape[1]]
        results.append(chunk_unpacked)
    return np.vstack(results)

final_result = packed_chunked_xor(u_values, v_values, chunk_size=2)

4. 生成器流式处理（无需保存全量结果） #

如果业务允许逐行处理结果，用生成器可彻底避免内存溢出：

def streaming_xor(u, v):
    for u_row in u:
        # 当前u行与v的所有行做XOR，逐行生成结果
        for v_row in v:
            yield u_row ^ v_row

# 使用示例：逐行处理结果
for xor_row in streaming_xor(u_values, v_values):
    # 在这里处理单一行结果，比如写入文件、计算统计量等
    print(xor_row)

• 优势：内存占用仅为两行数据的大小，完全无内存压力。

内容的提问来源于stack exchange，提问作者Erwin