Blosc与Blosc2并行压缩对比：Blosc是否支持并行压缩？

初代Blosc是否支持并行压缩？ #

初代Blosc（即Blosc1）不支持原生并行压缩/解压，它的压缩过程是单线程执行的。Blosc2才引入了原生的多线程支持，能够利用多个CPU核心来加速压缩和解压操作。

Pandas写入HDF5时BLOSC_NTHREADS设置无效的排查方向 #

设置BLOSC_NTHREADS环境变量后CPU使用率没变化，通常是以下几个原因：

• 依赖库版本不匹配：Pandas通过PyTables处理HDF5文件，如果PyTables链接的是Blosc1，那BLOSC_NTHREADS本来就不会生效（因为Blosc1不支持多线程）。可以通过以下代码检查版本：

  import tables
  print(f"PyTables版本: {tables.__version__}")
  print(f"Blosc版本: {tables.blosc_version}")
  

  若使用的是Blosc1，需要升级PyTables到支持Blosc2的版本（比如3.8.0及以上），并确保系统安装了Blosc2库。
• 未正确指定压缩参数：即使环境变量设置了，PyTables可能没有启用Blosc的多线程选项。建议在写入HDF5时显式指定压缩配置，而不是依赖环境变量：

  import pandas as pd
  df = pd.DataFrame(...)
  # 使用Blosc2并指定线程数
  with pd.HDFStore('data.h5') as store:
      store.put('df', df, compression='blosc2', compression_opts={'nthreads': 10})
  

• 数据块大小不足：如果数据块（chunk）太小，多线程的优势无法体现，CPU使用率自然不会明显上升。可以通过设置chunksize参数调整块大小，比如根据数据量设置为几万甚至几十万行，让每个块的处理足够占用线程资源。
• 环境变量未正确加载：确认BLOSC_NTHREADS是否真的被Python进程读取到，可以在代码开头打印：

  import os
  print(os.environ.get('BLOSC_NTHREADS'))
  

  如果输出为空或不是10，说明环境变量没有正确设置（比如设置后没有重启Python进程，或者设置方式有误）。

内容的提问来源于stack exchange，提问作者S.V