如何提升十六进制流转16位整数的批量处理性能

核心优化思路 #

放弃逐段切片调用int()的实现，利用标准库/第三方库的批量二进制处理能力，减少Python层循环开销，性能可提升10~40倍。 #

优化方案 #

方案1：纯标准库实现（无第三方依赖） #

使用binascii+struct组合，步骤如下：

1. 用binascii.unhexlify将十六进制字节串直接转换为原始二进制字节，61440长度的十六进制串会转为30720字节的原始数据
2. 用struct.unpack一次性批量解包为16位整数序列
   代码示例：

import binascii
import struct

# 大端序解包，如果实际数值是小端序把>替换为<即可
raw = binascii.unhexlify(img[i])
out = struct.unpack(f'>{len(raw)//2}H', raw)
# 如需列表类型可套一层list()：out = list(struct.unpack(...))

该方案处理单包耗时约0.08ms，远高于原实现的1~1.5ms性能。 #

方案2：numpy实现（适合后续需数值计算场景） #

如果允许引入第三方依赖，用numpy.frombuffer可进一步提升性能，且输出的数组直接支持后续类型转换、数值计算操作：
代码示例：

import binascii
import numpy as np

# 大端无符号16位整数，小端则改为'<u2'
out = np.frombuffer(binascii.unhexlify(img[i]), dtype='>u2')

该方案处理单包耗时约0.03ms，性能最高。 #

注意事项 #

• 注意字节序对齐：原实现int(hex_str,16)默认是大端序解析，若你的实际数据为小端序，需调整解包时的字节序标记，避免数值错误
• 固定长度61440的十六进制串为偶数长度，无需额外补位，若后续输入长度不固定需提前处理奇数长度的边界情况

内容的提问来源于stack exchange，提问作者Eumel