兼顾性能与可移植性的deque数据持久化方案咨询

我通过while循环采集麦克风数据（示例用np.random.random()替代以保证可复现），对数据执行abs().mean()操作得到一维结果。循环会长期运行（例如每秒执行一次，持续一周），核心需求是兼顾存储性能与结果可移植性（如.csv比.npy的可移植性更强）。目前考虑三种方案，想明确各方案的适用边界：

• 简单文本方案：当前采用向.txt文件追加数据的方式，能否替换为csv.gz？使用np.savetxt()是否值得？
• HDF5方案：理论上性能更优，但目前的追加方式（读取整个数据集再扩容写入）似乎不是最佳实践，性能未必比文本文件好，有没有更高效的HDF5追加方式？
• NPY方案：可以存储为.npy文件，但更倾向于选择能被任意程序读取的可移植格式。

附测试代码：

from collections import deque
import numpy as np
import h5py
amplitudes = deque(maxlen=save_interval_sec)
# Read from the microphone in a continuous stream
while True:
    data = np.random.random(100)
    amplitude = np.abs(data).mean()
    print(amplitude, end="\r")
    amplitudes.append(amplitude)

    # Save the amplitudes to a file every n iterations
    if len(amplitudes) == save_interval:
        with open("amplitudes.txt", "a") as f:
            for amp in amplitudes:
                f.write(str(amp) + "\n")
        amplitudes.clear()

    # Save the amplitudes to an HDF5 file every n iterations
    if len(amplitudes) == save_interval:
        # Convert the deque to a Numpy array
        amplitudes_array = np.array(amplitudes)

        # Open an HDF5 file
        with h5py.File("amplitudes.h5", "a") as f:
            # Get the existing dataset or create a new one if it doesn't exist
            dset = f.get("amplitudes")
            if dset is None:
                dset = f.create_dataset("amplitudes", data=amplitudes_array, dtype=np.float32,
                                        maxshape=(None,), chunks=True, compression="gzip")
            else:
                # Get the current size of the dataset
                current_size = dset.shape[0]

                # Resize the dataset to make room for the new data
                dset.resize((current_size + save_interval,))

                # Write the new data to the dataset
                dset[current_size:] = amplitudes_array
        # Clear the deque
        amplitudes.clear()
    # For debug only
    if len(amplitudes)>3:
        break

补充说明：我了解方案选择与采样频率（每秒一次可能偏低）、数据维度（仅单列数据量较少）相关，此前一直采用文本存储，想明确不同方案的适用场景。

1. 文本类方案（.txt / .csv / .csv.gz） #

替换为csv.gz的可行性 #

完全可以替换。csv.gz是压缩后的CSV格式，相比纯.txt/.csv，存储空间可节省60%-80%（针对浮点数值的单列数据），且几乎所有数据分析工具（Excel、Python pandas、R等）都支持直接读取，可移植性拉满。

使用np.savetxt()的价值 #

值得使用，但要注意写法：

• 追加模式下，np.savetxt(f, amplitudes_array, fmt='%.6f')比手动循环写字符串效率更高，尤其是当save_interval较大时，numpy的批量IO操作远快于Python原生循环。
• 若要存为csv.gz，直接将文件对象换成gzip.open("amplitudes.csv.gz", "ab")即可，np.savetxt()支持二进制模式的压缩文件句柄。

适用边界 #

• 优先选择场景：采样频率低（如每秒1-10次）、单条数据量小、需要随时用通用工具查看/分析数据。
• 不适合场景：采样频率极高（如每秒1000+次）、长期运行后数据量达GB级以上——此时文本IO开销会显著增大，压缩/解压的CPU消耗也会累积。

2. HDF5方案 #

高效追加的正确方式 #

你当前的HDF5追加逻辑是正确的，不需要读取整个数据集——h5py的resize()+切片写入是官方推荐的增量写入方式，仅需读取数据集元信息，开销可忽略。

优化点：

• 保持chunks=True并合理设置chunk大小：对于单列浮点数据，chunk大小设为1000-10000条较合适，既保证压缩效率，又不会让每次追加的IO操作过于零碎。
• 若追求极致性能，可保持HDF5文件长期打开（无需每次追加都重新打开），但需注意异常退出时的文件损坏风险——可搭配定期flush或用上下文管理器封装批量写入逻辑。

适用边界 #

• 优先选择场景：采样频率高（如每秒100+次）、长期运行后数据量达GB级、需要后续做复杂的numpy/pandas批量分析。HDF5的随机读取、批量处理性能远优于文本格式，且支持压缩的同时读写速度比csv.gz快很多。
• 不适合场景：需要用Excel等非专业数据分析工具直接查看数据——HDF5需要专门的库或工具（如HDFView）才能打开，可移植性不如文本格式。

3. NPY方案 #

可移植性与性能平衡 #

.npy是numpy专用格式，虽体积小、读写速度极快，但仅支持numpy的环境才能读取，可移植性远不如文本或HDF5（无法直接用Excel打开），不符合你的核心需求，因此不推荐。

适用边界 #

仅适合纯Python/numpy生态内的短期数据存储，比如临时缓存中间结果，不适合长期存储需要跨平台跨工具访问的数据。

内容的提问来源于stack exchange，提问作者Matias Andina