如何快速查找两个大字节序列首次出现差异的偏移量？

原生方法优化（无第三方依赖） #

你原来的zip遍历会生成大量元组，存在额外开销。使用memoryview可直接操作底层字节数据，大幅提升遍历效率：

def first_diff_native(bytes1: bytes, bytes2: bytes) -> int:
    len1, len2 = len(bytes1), len(bytes2)
    min_len = min(len1, len2)
    
    mv1 = memoryview(bytes1)
    mv2 = memoryview(bytes2)
    
    for i in range(min_len):
        if mv1[i] != mv2[i]:
            return i
    
    # 若前min_len字节完全相同，返回长度差异点；若长度一致则返回-1表示无差异
    return min_len if len1 != len2 else -1

NumPy 优化方案（适合大规模数据） #

针对中等规模以上的字节序列，NumPy的C实现向量运算效率远高于纯Python循环，尤其适合你多次执行、处理300MB总数据的场景：

import numpy as np

def first_diff_numpy(bytes1: bytes, bytes2: bytes) -> int:
    len1, len2 = len(bytes1), len(bytes2)
    min_len = min(len1, len2)
    
    # 直接从字节序列创建无拷贝的uint8数组，避免内存开销
    arr1 = np.frombuffer(bytes1, dtype=np.uint8, count=min_len)
    arr2 = np.frombuffer(bytes2, dtype=np.uint8, count=min_len)
    
    # 快速定位所有差异位置的索引
    diff_indices = np.where(arr1 != arr2)[0]
    
    if diff_indices.size > 0:
        return diff_indices[0]
    # 处理长度不同的边界情况
    return min_len if len1 != len2 else -1

分块处理建议 #

针对你提到的100kB分块设置：

• 建议增大块大小至1MB甚至更大：NumPy数组初始化存在固定开销，块越大，单次处理的有效计算占比越高，整体效率提升越明显。
• 分块逻辑：遍历每个块对，一旦找到存在差异的块，在该块内调用上述方法获取块内差异索引，再加上前面所有块的总长度，即可得到全局差异位置；若所有块都匹配，再检查最后是否存在长度差异。

内容的提问来源于stack exchange，提问作者Tomáš Zato