如何加速大规模浮点数列表的struct.pack打包操作

有一个存储数百万到两千万级别浮点数的DataFrame，需要将所有元素转换为字节后拼接为单个字节串，最初采用逐元素遍历打包的方式运行速度极慢，尝试过其他优化方案要么速度没有提升，要么结果不符合预期，还遇到了批量打包时字节序配置报错的问题。

初始慢实现 #

逐元素调用struct.pack后拼接字节，Python层循环开销极大：

import struct
import numpy as np


# 总数据量500万-2000万浮点数
data = df.to_numpy().flatten().tolist()

# 运行速度极慢
dataline = b''.join([struct.pack('>f', event) for event in data])

试过的无效方案 #

使用np.vectorize包装打包函数，实际没有性能提升，结果也不符合预期：

import struct
import numpy as np


def myfunc(event):
    return struct.pack('>f', event)


data = df.to_numpy().flatten()

myfunc_vec = np.vectorize(myfunc)
result = myfunc_vec(data)
dataline = b''.join(result)

注意：np.vectorize本质是语法糖，内部依然是Python层逐元素循环调用，没有真的实现底层向量化加速，还会带来额外的函数调用开销，不适合这类大数据量转换场景。

遇到的格式报错 #

尝试用struct批量打包的写法时，不知道如何指定大端序，把格式串写错触发error: bad char in struct format报错：

import random
import struct


floatlist = [random.random() for _ in range(10**5)]
# 错误写法：'%s>f' 把字节序标识放在了数量后面
buf = struct.pack('%s>f' % len(floatlist), *floatlist)

方案1：numpy原生字节转换（性能最高，推荐） #

numpy数组本身是连续内存存储，直接在C层完成类型转换和字节序调整，完全跳过Python层循环，处理千万级数据仅需数毫秒，比逐元素打包快两个数量级以上。
>f对应的是大端序单精度4字节浮点数，对应numpy的dtype标识为>f4，直接调用tobytes()就能拿到拼接好的字节串：

import numpy as np

# 转numpy数组时直接指定为单精度浮点数类型，减少冗余转换
data = df.to_numpy(dtype=np.float32).flatten()
# 转换为大端序后直接读取底层内存字节
dataline = data.astype('>f4').tobytes()

方案2：struct批量打包（次选，性能弱于方案1） #

之前的格式串写法错误，字节序标识必须放在格式串的最开头，正确的格式串应该是>%sf，而不是%s>f。修正后的批量打包写法：

import struct

# 字节序>写在格式串最前方，后面跟元素数量和类型标识
buf = struct.pack('>%sf' % len(floatlist), *floatlist)

该方案需要把numpy数组转为Python列表、再解包为位置参数传入，千万级数据下参数传递和类型转换的开销远高于numpy原生方案，仅适合小规模数据场景。

内容的提问来源于stack exchange，提问作者Superbman